2017年09月_lemonMagister

10月 09月 02月 01月

原创 GitHub仓库爬虫开发记录

因为要做一个Demo，数据源GitHub上所有Star过20的项目。但是呢，GitHub唉！拥有千万数量级别仓库的大型基佬交友社区唉！符合条件的就有33万条记录唉！所以就想把这次开发经历记录一下。想做到的最终目标是10个爬虫并发爬取项目；爬虫的代码就不发了，网上一搜一大把，使用python3，用到的包有json、bs4、urllib；2017年9月14日11点38分爬虫开发记录：开

2017-09-14 11:42:38 2062

原创 python爬虫MySql插入时出现异常——“Incorrect string value: '\\xF0\\x9F\\x92\\xB5”

控制台报错如下：Incorrect string value: '\\xF0\\x9F\\x92\\xB5,现在整理解决方法如下：摘录自：http://blog.csdn.net/fuxuejun/article/details/20361669错误原因：我们可以看到错误提示中的字符0xF0 0x9F 0x98 0x84 ，这对应UTF-8编码格式中的4字节编码（UTF-8

2017-09-13 18:26:44 2466

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人