katyusha1的博客

写字楼里写字间,写字间里程序员。程序人员写程序,又拿程序换酒钱。

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MySQL从删库到跑路(1):安装与前期准备

前言 由于公司业务发展需要,上周在下给公司运营部全体妹子培训了简单的SQL,在俺知识点与段子齐飞的一堂后之后,公司妹子终于看到了我的才华,我的魅力。而这也激发了我的创作于,决定写一个通俗易懂、段子与知识点结合到天衣无缝的数据分析专栏,专栏第一部分先以SQL为主,名字就叫《MySQL从删库到跑路》...

2019-09-18 14:32:21

阅读数 7

评论数 0

pandas多行合并成一列

前言 作为 一个无法拒绝女生请求的屌丝,在发誓再也不帮女生处理问题十天后,在下破戒了。事情要从一个excel文件和一个漂亮小姐姐同事那里说起。 话说有个漂亮的姐姐正在因为一个数据处理问题而发愁,见她柳眉轻蹙,泪眼汪汪的样子,在了解妹子还是单身的情况下,在下主动申请帮助妹子解决问题,过去想妹子询...

2019-09-17 18:33:06

阅读数 29

评论数 0

python自定义模块打包、安装、卸载总结

前言 在写项目级别的工程时候,需要将常用的函数封装成一个工具文件中,作为一名数据仔,通常只是写写脚本,而且写脚本额位置也不是很固定,这个时候怎么办呢?怎么能够一劳永逸呢?怎么能随心所欲的import呢? 那么,这个时候,你需要把你的工具函数打包成一个模块,集成到python模块中。 1、打包与安装...

2019-08-21 14:45:41

阅读数 18

评论数 0

pandas多列合并成一列

前言 一入数据深似海,从此头发是路人。作为一个半路出家的学生,小弟当初是想做一名开发的,然而阴差阳错下,解除了数据分析这个工作,从此便爱上了这个让我秃头的行业(虚伪的说。) 数据分析有四个步骤,数据获取——>数据处理——>数据分析——>数据分析,以后我...

2019-08-05 17:59:27

阅读数 286

评论数 0

python3:csv的读写

前言 快要毕业那会儿,在下编写了一个招聘网站招聘岗位的爬虫提供给前女神参考,最开始我是存到mysql中,然后在到处一份csv文件给前女神。到了参加工作后,由于经常使用excel绘制图表(谁叫公司做报表全用excel呢…………….),在下才瞬间顿悟,有时候将爬虫爬取的数据直接存到csv中或许会更加...

2018-08-12 14:23:50

阅读数 24016

评论数 5

python3的map与reduce

一个月前,我同学去面试python开发岗,面试官给他出了一道题,使用三种不同的方法实现1到100的求和,并且要求语法尽量简洁。同学的代码如下 #第一种 sum1 = 0 for i in range(1,101): sum1+=i print(sum1) #第二种 print(sum(r...

2018-08-09 16:18:36

阅读数 1037

评论数 0

pandas去除列名中的特殊符号

去除pandas列名中的单双引号,空格 前段时间,公司推送的csv文件,列名中出现了单双引号,甚至是空格,这对pandas导入数据库来说,引起了很大的不便,后来发现,把列名中出现的单双引号和空格去掉其实很简答,一行代码就可以搞定。 df = df.rename(columns=lambda x...

2018-08-08 09:06:00

阅读数 4127

评论数 1

pandas数据分析:正传

一:前言 作为一个有着良好python基础的菜鸡,以前在下研究过很多python的第三方库,参加工作后,pandas就成了许多当中的唯一了。 幸好有python基础,因此在组长的调教之下,在下很快就掌握了工作中需要用到的pandas的所有方法。 pandas基于numpy,一次安装p...

2018-02-21 14:51:12

阅读数 178

评论数 0

pandas数据分析前传

一:前言 2017年11月17日,在下作为一个即将毕业的大四学生,踏上了找实习工作的旅程。在下深知自己的编程实力,所以起初只想找一家小公司锻炼一下自己,工资低点无所谓,结果事与愿违,实习工资两千的小公司,居然也有许多名校学生,争相向前,这样我等学渣情何以堪。 然后几经波折,我看到了京东的实...

2018-02-21 13:20:51

阅读数 159

评论数 0

python3爬虫攻略:selenium+phantomjs二进宫

一:前言 上一篇文章讲了下selenium+phantomjs进行简单模拟网站登录,这一篇我们就在深入一下,讲一下selenium其他相关的东西。(selenium很强大,而在下也只是个菜鸡,所以有不足的还请各位老铁指正,咱们共同进步。) Selenium是一个Web的自动化测试工具,所以它存...

2018-02-20 17:50:25

阅读数 268

评论数 0

python爬虫攻略:selenium+phantomjs初探

一:前言 requests虽然功能强大,但遇上JavaScript动态渲染过的html页面还是有一定的局限,这是后如果你机器强大,而且爬取数据量不是太大的话,你或许可以考虑一下selenium+phantomjs来针对那些需要登录,并且是JavaScript动态渲染的网页。 seleniu...

2018-02-20 17:19:38

阅读数 266

评论数 0

python3 scrapy startproject报错解决

在ubuntu使用scrapy 新建项目是报错 简单的看了一下,只能了解大致意思,PermissionError:许可错误。Permission denied:没有权限。 不过凑到一起还是一脸懵逼(希望那位大神能够解救!)系统环境ubuntu16.04,python版本3.5.2 scr...

2017-11-25 22:42:26

阅读数 1381

评论数 0

解决:Navicat远程连接mysql失败

一:修改mysql配置文件,允许远程连接sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf将bind-address=127.0.0.1注释二:登录mysql,运行命令grant all on . to 用户名@”%” identified by “密码”;flu...

2017-11-25 11:01:55

阅读数 676

评论数 0

mongodb创建索引

索引的目的是为了提升查询速度,mongodb中也支持索引。 mongodb的shell同时又是js的编译器,所以我们可以用JavaScript语句模拟存入大量数据。 为了验证索引的快速,我们先模拟插入十万条数据 for(i=0;i<100000;i++) { db.stu....

2017-11-24 17:01:26

阅读数 2029

评论数 0

ubuntu定时执行任务

前几天女神给我发了条消息,“为什么我每天早上九点都会收到你给我发的天气信息的邮件?”然后…… 当然,我是不可能告诉她,我是用crontab来定时执行python脚本滴! 好了,废话不多说,直接进入正题!ubuntu定时执行脚本cron是一个Linux下的后台进程,用来定期的执行一些任务。因为我...

2017-11-23 22:02:58

阅读数 5150

评论数 0

ubuntu设置开机自动启动脚本

有时候我们想要脚本开机自动运行,那么就需要设置开机自启动脚本。首先将脚本复制或者软连接到/etc/init.d/目录下然后update-rc.d xxx defaults NN命令(NN为启动顺序)将脚本添加到初始化执行的队列中去。注意如果脚本需要用到网络,则NN需设置一个比较大的数字,如99举个...

2017-11-23 21:18:49

阅读数 356

评论数 2

git连接远程仓库(github)

Git是分布式版本控制系统,同一个Git仓库,可以分布到不同的机器上。 gitHub是一个面向开源及私有软件项目的托管平台,因为只支持git 作为唯一的版本库格式进行托管,故名gitHub。 找工作的时候在简历上附上github开源项目,无形之中就为自己加分不少!创建github账号登录htt...

2017-11-22 19:01:21

阅读数 7997

评论数 0

python实战(1):简单的数据采集与分析

最近忙着做毕业设计,最爱的python当然成了我的切入点。因此特意找了一个项目来练练手,项目很简单,就是利用python爬取数据,然后再利用matplotlib进行数据可视化。项目设计:爬虫爬取数据并存入mongodb数据库中,然后再编写脚本读取数据,进行绘图。一:数据爬取(以腾讯招聘为列) ...

2017-11-11 14:46:06

阅读数 3673

评论数 0

ubuntu下让python脚本可直接运行

我们还是以那个翻译程序为例子,上次给各位老铁讲了在windows下的应用程序打包,这一次给各位老铁讲一讲,在linux下为python文件可以自己执行,从而不需要python xxx.py。很简单,在python源文件最上面添上下面一句话!#!/usr/bin/python3 /usr/bin/...

2017-11-11 10:42:27

阅读数 12248

评论数 0

centos6修改yum源

安装centos后,为了更好、更快捷的安装软件通常要添加国内的yum源,这时候阿里云的源则成了我们的首选。一:备份你的原镜像文件,以免出错后可以恢复mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.back...

2017-11-09 16:16:48

阅读数 930

评论数 0

提示
确定要删除当前文章?
取消 删除