- 博客(6)
- 收藏
- 关注
RSS订阅原创 Scrapy爬取电商网站京东奶粉商品价格数据-附各种问题解决
主要的目标是爬奶粉的价格，商品名称和sku_id，想知道奶粉的平均价格。首先在cmd里建立一个新的scrapy spider project(1)scrapy startproject milkprice 创建一个项目(2)创建一个spider，注意要先cd到有.cfg的路径下创建用scrapy genspider -l 命令可以查看spider模板scr
2017-10-19 10:24:06
2337
原创 python re 正则表达式总结 匹配指定字符
正则表达式在爬虫和处理字符串的过程中常常会被用到，例如解决下面两个问题（1）去除爬取到的结果里面的特殊字符/[^]（2）我只想让文本中留下中文字符。python的re包提供了强大的正则表达式应用，能让我们方便的解决类似上面的问题。具体的步骤也比较简单（1）首先我们要根据正则表达式的规则写出我们想要去寻找或者匹配的模式，例如：[^\u4E00-\u9FD5]+，是说匹配除了中文以外的
2017-10-08 12:44:50
26609
原创 python3 apistar 创建web api 根据前端用户输入返回数据库查询结果
apistar是一个针对python3的web api框架，详见https://github.com/encode/apistar1. pip install apistar2. 在cmd里切换到希望的文件路径下，启动一个项目 apistar new . 然后我们可以看到生成了两个python文件，app.py和test.py3. 查看交互式API文档，在浏览器里输入 http:/
2017-10-06 16:45:05
6375
2
转载 各种流行数据库介绍
【2016数据库排名年度盘点】说到盘点，首先肯定得看看DB-Engines的全球数据库排名。下表是2017年1月份前20名数据库引擎最新排名。DB-Engines 2017-01数据库前20名列表DB-Engines这个排名在业界引用得非常多，权威性也很高，总体来说比较客观，它不像很多咨询机构采用市场调查，或者某个数据库厂商发布的数据，而是通过以下6个方面的统计数据来综
2017-10-03 16:32:19
7835
原创 mongodb和pymongo创建数据库和基础操作
1. MongoDB下载地址：https://www.mongodb.com/download-center#communityMongoDB是一种介于关系型和非关系型中间的数据库。它是文档型数据库（一个文档包含多个键/值对），多个文档组成集合，多个集合组成数据库。一个MongoDB 实例可以承载多个数据库。这里集合的概念类似关系型数据库中的表。MongoDB的优势在于数据存储与交互非常灵
2017-10-03 16:09:15
10273
原创 TensorFlow学习Day3读取csv文件,动手写个logistic,softmax分类模型
上一篇讲到了logistic模型，今天用kaggle竞赛的数据集Titanic做一个小小的训练示范。数据集可以从官网下载：https://www.kaggle.com/c/titanic/data首先我们写一个读取文件的函数# 读取文件def read_csv(batch_size, file_name, record_defaults): filename_queu
2017-10-02 12:26:55
2331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人