- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 （廿二）Python：MongoDB存储
大部分情况下爬取的数据特别灵活，不一定只有指定的几个字段数据，这时候就需要将数据存储在非关系型数据库中了，MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。M...
2018-08-31 16:02:19
3900
原创 （廿一）Python：MySql存储
       我们将爬虫抓取的数据获取到后应该将它存储在数据库中供后续的数据分析等操作。现在介绍Python将数据存储在MySql数据库中。连接数据库       Py
2018-08-28 15:41:40
4064
原创 （廿）Python爬虫：pyquery的使用
      pyquery允许您在xml文档上进行jquery查询。 API尽可能与jquery类似。 pyquery使用lxml快速操作xml和html。直接使用pip3 install pyquery安装即可。加载HTML &am
2018-08-27 10:29:12
4470
原创 （十九）Python爬虫：Beautiful Soup的使用
      Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup安装pip安装：现在Beautiful Soup版本为4.x，建议使用最新版，3.x已经停止开发了。使用命令pip3 install ...
2018-08-24 20:05:21
22981
3
原创 （十八）Python爬虫：XPath的使用
      经历了爬取豆瓣电影TOP250数据我们会发现使用正则表达式其实并没有多么方便，有没有更加好的工具呢？答案当然是有的。接下来将使用三个篇幅分别介绍XPath,Beautiful Soup和pyquery
2018-08-22 22:28:31
67887
29
转载 深刻理解Python中的元类(metaclass)
注：这是一篇在Stack overflow上很热的帖子。提问者自称已经掌握了有关Python OOP编程中的各种概念，但始终觉得元类(metaclass)难以理解。他知道这肯定和自省有关，但仍然觉得不太明白，希望大家可以给出一些实际的例子和代码片段以帮助理解，以及在什么情况下需要进行元编程。于是e-satis同学给出了神一般的回复，该回复获得了985点的赞同点数，更有人评论说这段回复应该加入到Py...
2018-08-19 21:30:19
3954
2
原创 （十七）Python爬虫：爬取豆瓣电影TOP250
爬取目标：豆瓣电影TOP250，并且存入csv文件中 爬取内容： 首页请求地址：https://movie.douban.com/top250?start=0&filter= 多查看几页的请求地址我们可以发现以下规律： 1、每页显示25条内容，共10页； 2、每页的请求地址只改变start的值，第一页为0，第二页为25，第三页为50，所以第n页为（n-1）*25...
2018-08-16 16:11:22
6141
1
原创 （十六）Python爬虫基础库：requests
      使用urllib有许多麻烦的地方，我们可以选择requests库模拟浏览器发送请求。首先我们需要额外安装requests库，使用命令：pip3 install requests。高度赞扬requests。GET&am
2018-08-14 15:10:33
5474
3
原创 （十五）Python爬虫基础库：urllib
      从今天起开始进入爬虫的世界。网络爬虫这张东西相比都了解能干嘛，我第一次知道时感觉特别棒，希望自己能写一个，不管功能强大与否。Python语言就是写爬虫的
2018-08-12 16:21:51
4865
原创 （十四）Python：正则表达式
正则表达式，又称规则表达式。(英语:Regular Expression，在代码中常简写为regex、regexp或RE)，计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 Python提供了re模块，它支持Perl风...
2018-08-07 17:23:48
3908
原创 （十三）Python：异常处理
有过JAVA语言的学习经验都知道程序即使没有语法错误，但是运行过程中还是会有些“毛病”，这些毛病我们称其为异常。 捕获异常基本语法规则：try: #可能会产生异常的语句块except 异常类型: #捕获异常后的处理示例代码：try: a=1/0 print("异常产生之后的代码")except ZeroDivisionError: ...
2018-08-03 21:49:24
3969
mybatis与spring整合全部jar包(包括springmvc)
2017-12-17
hibernate-distribution-3.6.10.Final-dist.zip
2017-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人