- 博客(5)
- 收藏
- 关注
RSS订阅原创 如何把项目上传gitee并创建分支
前言：先前把自己1代码上传git时，总是出现各种各样的问题，这次终于学会了如何上传并创建一个分支。准备：我的项目名称：xiaohua_spider过程：1.打开gitee，创建一个同名xiaohua_spider仓库,创建完成后如图：2.打开项目本地提交：3.打开Terminal依次输入步骤1的红框内容，成功后结果如下：4.提交成功后，继续输入：git branch o...
2019-01-15 16:29:11
15561
原创 爬取京东商品评论并存入数据库（二）
前言上篇我详细说明了爬取得过程，这里就不过多解释，直接上爬取得代码，简单明了：代码import requestsimport jsonimport pymysqlcomment_url = 'https://sclub.jd.com/comment/productPageComments.action'def jd(page): params = { '...
2019-01-12 16:20:29
1406
原创 爬取京东某商品评论并存入csv
前言最近一直在奋战爬虫，对我而言，我感觉比较好玩，刚开始也处于迷糊状态，但现在对于爬虫的基本流程也渐渐熟悉了，也没来得及整理，今天整理的是爬取京东手机Apple iPhone XS的评论。首先找到你所要爬取物品的页面，右键检查，如图所示：然后按以下操作：当你点击Network之后然后滑动商品页面并点击商品评论：你会发现多了几行数据，不用说多出来的这几行肯定有评论的数据，但是我们还是很难...
2019-01-12 16:14:33
4531
1
原创 python-scrapy安装（win7系统）
前言scrapy是一个流行的爬虫框架。架构分层，适合复杂项目并易于扩展。封装异步包，实现并发请求和分布式部署。框架架构介绍引擎（scrapy engine)处理整个系统的数据流，触发事务。调度器（scheduler ）接收引擎发过来的请求，压入队列，去重，决定下一次请求的url。下载器（downloader)根据url请求网页，下载网页原始内容，并将网页内容返回给spi...
2019-01-12 11:26:15
290
转载 API汇总；API大全（转载）
API是获取网络服务最便捷的方式，合理地使用API开发项目可以大大提高开发效率，把精力都集中在程序的业务逻辑之上，避免重复造轮子。推荐给大家个人觉得很赞的第三方API（资源整合自网络）。文章分为天气查询、生活常用、文体娱乐、企业金融、通讯服务、交通出行、技术开发七大类，如果你觉得分类不直观，想直接获取免费可试用的api，也可以直接搜索用友APILink，或访问官网api.yonyoucloud.c...
2019-01-11 19:59:01
8185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人