关注
分享
作为一个非开发人员，对开发相关技术比较感兴趣，就是想研究研究凑凑热闹
SimonJ120
静默是爱好，规律是外表，坚韧是初心，一边摸索，一边踩坑，一边起来，拍拍屁股，绕过坑继续前行。
展开
-
说干就干-01
1、爬取了成语大全数据，样例：{ "_id" : ObjectId("5e648c7098f81742a13632b8"), "cy_name" : "层峦迭嶂", "cy_py" : "céng luán dié zhàng", "cy_js" : "峦：山峰；嶂：直立像屏障的山；层、迭：重复，一层加上一层。形容山峰起伏，连绵重迭。", "cy_cc...原创 2020-03-08 18:06:28 · 275 阅读 · 0 评论 -
ant design那些东西
https://ant.design/index-cnhttps://antv.vision/zhhttp://vue.ant-design.cn/docs/vue/introduce-cn/https://graphin.antv.vision/zh很喜欢最后一个图关系的组件。原创 2020-03-07 21:34:09 · 102 阅读 · 0 评论 -
scrapy的sqlite3作为存储的pipeline
以sqlite3作为pipline的一段代码示例。比较通用，中间表名传递的死了点，应该弄一个字典方到setting，然后根据Item的实例，从字典中选择对应的表名进行处理。在一个缺点就是这个插入操作没有做处理，一个处理是先查询下是不是已经存在，存在就不用重复爬取了，一个是先删除在插入，可能会慢点，再一个就是靠表的唯一索引自己判断去，应该加一个try，catch下违反唯一索引的错误，然后就...原创 2020-03-07 21:15:04 · 349 阅读 · 0 评论 -
python爬虫框架
python爬虫框架包括了代码端和管理运行端。代码端毫无疑问，scrapy是我的最爱，单独写一个爬虫脚本，执行貌似没啥问题，但总感觉单爬虫的运行不够快，想玩玩分布式爬取。基于scrapy有一个scrapy-redis扩展（https://github.com/rmax/scrapy-redis），用于分布式爬取的。还一个Frontera（https://github.com/scrapingh...原创 2020-03-07 21:03:12 · 350 阅读 · 0 评论 -
01-一个不太切合实际的随想
最近迷上了网络科学，作为产品经理，产品的规划必然要涉及到各种技术堆栈，目前最喜欢python语言，所以突然想做一个全栈项目玩玩，明知这条路上全是坑，但感觉有时候踩踩坑感觉那么踏实，比走着一路坦途的心情好多了。本项目是我尝试全栈开发的尝试。项目包括了四个部分：1、爬虫部分： 围绕政府部门爬取有关的数据。目前打算包括三个方面：综合数据、交通数据、招投标数据。数据存储到m...原创 2020-03-07 20:41:31 · 113 阅读 · 0 评论