数据处理
Preke
这个作者很懒,什么都没留下…
展开
-
python 读取 json文件
本文是碎片知识本文用的是python 2.7如果我又一个文件1.json内容如下:{ "_id" : "318071578", "avg_cost" : "", "user_id" : "108781651", "stars" : 5, "content" : "够辣够麻 一直会光顾的 推荐!", "shop_id" : "198191132",原创 2016-12-12 09:58:09 · 11215 阅读 · 0 评论 -
Scrapy爬取大众点评
内容:美食品类750个商家: 商家的页面url 商家的主要信息 商家所有的促销信息(1200+条) 商家所有的评论信息(没爬完,14w+条) 发表这些评论的所有用户的信息(没爬完,5w+条) 代码:https://github.com/preke/Spiders/tree/master/DaZhongDianPing总结和学习的一些点:大众点评有反爬机制,直接运行爬原创 2016-12-15 21:23:43 · 5543 阅读 · 0 评论 -
Python 数据处理的 Some tips --- 索引
《利用Python进行数据分析》笔记我个人觉得有些东西是需要用到的时候查一下就行的,比如矩阵求逆,矩阵转置,但是一些更加常用的东西还是要扫一遍书的,记录下来一些印象深刻的点,以后查着方便。蛋疼,其实就是简单学一下索引,不然取数据都不会写下的东西并不官方,也不敢说会帮助什么人,觉得还是自己的一些笔记而已yield: 生成时才调用,有点C++里面动态绑定的意味Numpy: Numpy的数组切片原创 2017-03-23 16:59:20 · 613 阅读 · 0 评论