- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Scrapy-redis增量爬取以及Simhash相似文档的去重
最近在实习，第一个任务就是从各大门户网站抓取新闻，爬虫本身不是一个很难的事情，用scrapy框架很容易完成(关于scrapy的具体用法可以参考我之前的一篇博客http://blog.csdn.net/john_xyz/article/details/78157805， 但是由于要求是要增量爬取，而且要去除相似的新闻，这里记录一下解决问题的方法以及踩过的坑Scrapy-redis增量爬取...
2017-11-11 18:58:08
4494
原创 github常用操作
1. 设置SSH KeyGitHub上连接已有仓库的认证，是通过使用的SSHDE公开密钥认证方式进行的. 运行一下命令创建SSH Keyssh-keygen -t rsa -C "your_email@example.com"在GitHub中添加公开密钥，今后就可以用私有密钥进行认证了$ cat ~/.ssh/id_ras.pubssh-rsa 公开密钥的内容 your...
2017-11-12 17:14:38
474
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人