- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 虚拟环境
虚拟环境 为什么要搭建虚拟环境? 在开发过程中, 当需要使用python的某些工具包/框架时需要联网安装 比如联网安装Flask框架flask-0.10.1版本 sudo pip install flask==0.10.1 提示：使用如上命令, 会将flask-0.10.1安装到/usr/local/lib/python2.7/dist-packages路径下 问题：如果在一台...
2019-01-29 10:34:39
105
原创 haystack
# 商品搜索 # 商品搜索 # # 1. 需求分析 # 当用户在搜索框输入关键字后，我们要为用户提供相关的搜索结果。 # # 这种需求依赖数据库的模糊查询like关键字可以实现，但是like关键字的效率极低，而且查询需要在多个字段中进行，使用like关键字也不方便。 # # 我们引入搜索引擎来实现全文检索。全文检索即在指定的任意字段中进行检索查询。 # # 2. 搜索引擎原理 # 通过搜索引擎进行...
2019-01-05 10:41:33
455
原创 requests模块的深入使用
1 使用requests发送POST请求思考：哪些地方我们会用到POST请求？登录注册（ POST 比 GET 更安全）需要传输大文本内容的时候（ POST 请求对数据长度没有要求）所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求1.1 requests发送post请求语法：用法： response = requests.post("http://www.baidu.com...
2018-07-13 10:16:51
165
原创 1 爬虫的分类,爬虫的流程
在上一小结中，我们介绍爬虫爬取到的数据用途的时候，给大家举了两个例子，其实就是两种不同类型的爬虫根据被爬网站的数量的不同，我们把爬虫分为：通用爬虫 ：通常指搜索引擎的爬虫（https://www.baidu.com）聚焦爬虫 ：针对特定网站的爬虫请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？爬虫的工作流程：向起始url发送请求，并获取响应对响应进行提取如果提取url，则继续发送请求获取...
2018-07-11 21:23:30
768
原创 爬虫的基础概念
学习目标：了解 爬虫的概念了解 数据的来源1 为什么要学习爬虫如今，人工智能，大数据离我们越来越近，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？首先我们来看下面这个例子：这是微博的微指数的一个截图，他把在微博上的用户的微博和评论中的关键词语做了提取，然后进行了统计，然后根据统计结果得出某个词语的流行趋势，之后进行了简单的展示类似微指数的网站还...
2018-07-11 21:20:56
1709
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人