- 博客(32)
- 收藏
- 关注
RSS订阅原创 五月总结
四月立了一个flag，五月不断更。在形式上是完成了，但也有许多文章都只是为了打卡，差强人意。不过还是坚持做到了，本来今天是想用Python做下五月文章的分析，然要做项目，没时间搞了。项目一来，一些任务就得耽搁了。六月可能要搞项目和看论文了，希望使用python搞下自己的论文，到时候也会给大家分享分享，六月加油！ ...
2017-05-31 22:17:00
111
原创 Python爬虫之百度API调用
上次爬取了糗事百科的用户地址，也画了一个段子手分布的地图，今天就讲讲思路，其实也就是如何让地址换为经纬度，因为个人BDP免费版是需要经纬度字段的，今天就调用百度API获取经纬度信息。import requestsimport jsonaddress = input('请输入地点：')par = {'address': address, 'key':...
2017-05-30 18:21:00
315
原创 美美的matplotlib
总是感觉matplotlib画的图不是很好看，以前用highcharts画图很清新，而且自动调色，但今天在网上看到别人用matplotlib画的图，简直小清新，也发现自己菜菜的。import numpy as npimport matplotlib.pyplot as pltn = 12X = np.arange(n)Y1 = (1-X/flo...
2017-05-29 20:07:00
240
原创 Python数据分析之糗事百科第二弹
上回说到糗事百科段子的分析，今天对另外一张表，也就是用户信息表的分析。数据预处理导入数据import pandas as pdimport pymongoimport jieba.analyseimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineclie...
2017-05-28 10:39:00
210
原创 Python数据分析之糗事百科
最近一直忙着写材料，没给大家写作业的案例，第二期同学很厉害，都是抢着要作业做，哈哈，今天我就给大家写点爬虫的扩展和数据分析，让厉害的同学学起来。代码这次除了爬取老师的作业布置的字段外，还爬取了用户的一些信息，如图所示。之前的作业亮同学已经详细讲解了，我今天就贴下我的代码：import requestsfrom lxml impo...
2017-05-26 20:53:00
229
原创 Python数据分析之matplotlib（二）
今天主要讲下一些参数的使用：import numpy as npimport pandas as pdimport matplotlib.pyplot as plt%matplotlib inlineX=np.linspace(-np.pi,np.pi,256,endpoint=True)C,S = np.cos(X),np.sin(X)pl...
2017-05-23 21:23:00
153
原创 打卡加虐狗
图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App ...
2017-05-21 22:41:00
108
原创 Python数据分析之matplotlib（一）
import numpy as npimport pandas as pdimport matplotlib.pyplot as plt%matplotlib inlineyears = [2010,2011,2012,2013,2014,2015,2016,2017]GDPs = [256,289,302,356,389,400,402,436...
2017-05-20 20:50:00
215
原创 随便写一写
3P模式简单的来说，就是公私合营的一种模式。针对大型的公共设施建设，这种模式有着很大的优点。民营资本参入项目，提高效率、降低风险。很大程度上让民营资本“有利可图”。共同完成，可以减低前期政府的投入，也可以更好的为人民服务。特色小镇天子山镇因其坐落于著名的天子山脚下而得名，镇区内分布着奇特的石英砂岩峰林地貌、茂密的原始森林和清澈的溪流，自然村...
2017-05-20 20:10:00
93
原创 Python数据分析之merge使用
在现实生活中，都会存在不同的表，但表之间有相互关系，我们需要进行整理，进行连接，这种过程类似于数据库的连接。我们先构造用户和订单的dataframe：import pandas as pdimport numpy as npimport datetimecustomers = { 'CustomerID':[10,11], 'Na...
2017-05-19 21:14:00
547
原创 记爬虫小分队（六）
2017年5月18日今天有同学问我贴吧为什么信息提取不出来？下面是同学的源代码：import requestsfrom bs4 import BeautifulSoupstart_url = "http://tieba.baidu.com/p/4957100148"headers = {"User-Agent":"M...
2017-05-18 19:40:00
106
原创 Python爬虫小分队第二期招募贴
花开花落 云卷云舒，爬虫小分队第一期顺利结束。满满回忆涌上心头，第一次催同学交作业、第一次被叫罗指导、第一次完整辅导同学、第一次在熊猫tv给大家直播撸代码......很多第一次尝试都给了你们，也留给了我自己。有不足，也有满足；有欢乐，也有泪点。有点像高中师生的分离，但却又不像，我们还是在一起，有问题也会给予回答，我们亦师亦友，会一直这样下去。没有程同学那...
2017-05-17 21:34:00
139
原创 Python数据分析之数据清洗
good data decides good analyse数据清洗，是数据分析中不可缺少的一个环节，其处理的好坏在很大程度上影响着数据分析的结果。而且以前听老师说过数据清洗占整个的数据分析的一半时间以上（汗。。。数据清洗也是一个大学问啊）。查看空缺值首先读入文件：import pandas as pdtest = pd.read_excel...
2017-05-17 20:11:00
513
原创 Python数据分析之pandas数据可视化
Python数据可视化常用的是matplotlib库，matplotlib是底层库，今天学了pandas的数据可视化，相对于matplotlib库来说，简单许多。折线图%matplotlib inlineimport numpy as npimport pandas as pdx1 = pd.Series(np.random.normal(siz...
2017-05-16 20:09:00
953
原创 Python数据分析之groupby语法糖
对于dataframe的groupby聚合函数来说，我们适当了解下语法糖，会对数据分析起到事半功倍的效果。对分组进行迭代首先看下各字段的类型import numpy as npimport pandas as pdimport pymysqlconn = pymysql.connect(host='localhost', user='root'...
2017-05-15 20:18:00
188
原创 Python数据分析之dataframe的groupby
大家都知道数据库有groupby函数，今天给大家讲讲dataframe的groupby函数。groupby函数还是以上文的数据为例子，进行讲解，首先读入数据，通过groupby聚合数据。（该数据为简书it互联网一段时间的文章收录信息）import pandas as pdimport pymysqlconn = pymysql.connect(h...
2017-05-14 21:38:00
1996
原创 Python数据分析之dataframe索引会这个就行啦
今天给大家讲讲pandas库dataframe数据结构的索引问题，今天就讲讲ix的用法。选择行依旧读入昨天的文件import pandas as pdimport pymysqlconn = pymysql.connect(host='localhost', user='root', passwd='123456', db='test', p...
2017-05-13 21:19:00
175
原创 Python数据分析之读取文件
Python的数据分析，大部分的教程都是想讲numpy，再讲Dataframe，再讲读取文件。但我看书的时候，前面二章看的实在头晕，所以，我们还是通过读取文件来开始我们的Python数据分析吧。读取CSV读取csv通过read_csv读取import pandas as pdzhuanti = pd.read_csv(open('C:/User...
2017-05-12 21:35:00
619
原创 Python数据分析之贴吧的问与答
上次爬虫小分队爬取了贴吧中python问题的精品回答，我自己也用scrapy写了一个程序，爬取了一点信息，存入MongoDB数据库中，代码就不上了，今天主要是通过pandas库读取数据，做问与答的文字云。读取数据库pandas库读取文件很方便，主要是运用dataframe，首先导入需要的模块；import pandas as pdimport py...
2017-05-11 09:52:00
125
原创 我就打个卡
今天晚上和同学一起讨论算法比赛的问题，没来得及写简书，存打卡，不添加。早上上了一上午的课，看完泽天记，下午就查了下植物园分区的相关资料。晚上和同学讨论数据算法，感触良多，别人已经甩我半条街了，感觉自己还有很长的路走，勿忘！ ...
2017-05-10 23:09:00
88
原创 简书非官方大数据新思路
爬虫小分队的终极大任务就是简书大数据，以前也做过一次，阅读量也还可以。前段时间简书也是融资成功，简书也有一些改动，这次做分析也是一个不错的机会。专题URL这部分是没有变得，因为简书没有用户管理的url，我们只能从专题URL入手，依旧是热门和城市。专题管理员URL这部分就是新的思路，之前是爬取专题文章的作者，然后爬取作者的粉丝，这部分...
2017-05-09 20:33:00
109
原创 出差第三天
今天主要是去打酱油的～在林业局傻站了一天，也忘记拍照了。很多人会问，出差你都是拍的照片，看风景，吃美食，很爽的样子，工作的图片和介绍却很少，其实林业上的项目的资料和数据都是保密的，我们不能够透露。就像上次数学建模，许多童鞋调侃我就知道发吃的，简直放毒。但我也不能在竞赛的时候发比赛内容，这也不太好吧！虽然现在都提倡知识共享，确实也是这样。一些好玩的，好技术分...
2017-05-08 21:59:00
96
原创 出差第二天
调查搞起来图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App ...
2017-05-07 21:19:00
128
原创 出差第一天
张家界～有山有水有美味图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App图片发自简书App ...
2017-05-06 21:52:00
112
原创 Selenium在异步加载中的应用
简书文章异步加载之前爬虫小分队的第一次作业就是爬取简书七日热门，同学们应该知道部分数据是异步加载的，对于阅读，评论，喜欢的抓取数据策略为使用正则表达式匹配，收录专题就是找包来获取数据的。Selenium代码from selenium import webdriverurl = 'http://www.jianshu.c...
2017-05-05 18:37:00
1562
原创 MongoDB安装
非关系性数据库NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，...
2017-05-03 21:32:00
89
原创 Python各版本冲突解决方案
之前电脑安装了anaconda，又安装了python3。anaconda的各环境相互不冲突，很好管理，确实是很方便。但今天想用下之前安装的python3，但在命令行安装库的时候，发现默认情况下是安装到anaconda中的，我尝试输入python，发现果然是这样的，如图。习惯用pip安装库，不想在Pycharm中安装，那要怎样才能安装到Py...
2017-05-02 19:05:00
2482
原创 GIF图倒序播放
今天在爬虫群，看到一个有趣的Python代码，可以把GIF图倒序播放，代码很简单，首先要安装pillow库。代码from PIL import Image,ImageSequencewith Image.open('C:/Users/LP/Desktop/timg.gif') as im: if im.is_animated: #判断是否为...
2017-05-01 18:40:00
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人