![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据采集
lufaxinT
码农,Java,WEB,C#,.NET
展开
-
Python 边做边学 2 准备工作
python 版本选择数据库选择IDE选择http代理服务器http抓包工具学习网站原创 2017-05-19 20:40:07 · 581 阅读 · 0 评论 -
Python 边做边学 9.10 数据库操作--实际使用
前文中我们定义了数据库操作额度基础类,目的是为了尽量简化数据库操作,减少重复代码;下面我们来看一下具体怎么使用;原创 2017-08-22 18:57:33 · 373 阅读 · 0 评论 -
Python 边做边学 9.9 数据库操作--数据库表配置(UserAreaCfg)
1. 定义一个数据库表配置类; 2. 定义数据表字段,数据表名;原创 2017-08-21 19:42:52 · 272 阅读 · 0 评论 -
Python 边做边学 9.8 数据库操作--数据库执行入口工具(MapperExecute)
1. 定义一个数据库操作便捷入口工具; 2. 提供基础的增删改查入口(任何表);原创 2017-08-21 19:38:47 · 324 阅读 · 0 评论 -
Python 边做边学 9.7 数据库操作--查询基础工具(BaseMapper)
1. 定义一个基础查询工具类; 2. 提供增删改查方法;原创 2017-08-21 19:29:10 · 757 阅读 · 0 评论 -
Python 边做边学 9.6 数据库操作--查询条件解析工具(QCondition)
1. 定义一个查询条件解析工具,解析出简单查询sql语句;原创 2017-08-21 19:07:00 · 510 阅读 · 0 评论 -
Python 边做边学 9.5 数据库操作--分页条件单元(Qpage)
1. 定义一个“分页条件单元”,提供基础的分页元素;原创 2017-08-21 18:40:52 · 498 阅读 · 0 评论 -
Python 边做边学 9.4 数据库操作--排序条件单元(Qorder)
1. 定义一个“排序条件单元”,提供基础的排序元素;原创 2017-08-21 18:37:37 · 442 阅读 · 0 评论 -
Python 边做边学 9.1 数据库操作--整体设计
1. 每个表对应一个配置类,该类定义表名,以及表包含的字段; 2. 表字段需要定义字段名,字段类型,以及主键; 3. 需要提供统一的插入、更新、主键查询、主键删除,条件查询,条件统计等功能;原创 2017-08-18 19:11:01 · 339 阅读 · 0 评论 -
Python 边做边学 8.7 工具类--缓存工具(RedisUtil)
为了将抓取解析与数据保存分开处理,需要将抓取的数据先缓存起来,然后另起线程进行数据保存;公司项目用过Redis处理需要缓存的数据,那就他了; 1. 保存数据; 2. 获取数据; 3. 删除数据;原创 2017-08-18 18:17:08 · 1581 阅读 · 2 评论 -
Python 边做边学 8.6 工具类--时间工具(TimeUtil)
前文说过,我们将时间转成时间戳存到数据库里,那就把处理时间的操作抽象一下,处理成工具; 1. 获取指定时间的时间戳; 2. 将时间戳转换成人可识别的格式(指定格式); 3. 将字符串时间(指定格式)转换成时间戳;原创 2017-08-18 17:22:23 · 1558 阅读 · 0 评论 -
Python 边做边学 8.5 工具类--MD5工具(Md5Util)
分析数据可以看出,待抓取数据中有“标签”“分类”等信息,这些值通用性比较强,可以只存一份,用关系表来表示其与其他数据的关系,为了查询等方便,需要生成MD5值; 1. 生成字符串的MD5; 2. 生成对象的MD5(转成json字符串,再生成MD5);原创 2017-08-18 16:40:31 · 897 阅读 · 0 评论 -
Python 边做边学 8.4 工具类--HTML解析工具(HtmlSoupUtil)
为了使用方便,基于“Beautiful Soup”进行了进一步封装,使用更方便;封装之前,先确定我们需要哪几个方法: 1. 通过ID获取元素; 2. 通过class获取元素; 3. 通过name获取元素; 4. 通过标签名获取元素 5. 获取元素内部文本;原创 2017-08-18 15:14:22 · 461 阅读 · 0 评论 -
Python 边做边学 N.1 成果展示--用户区域统计
(1)近50%(46.57%)用户来自于“北、上、广”,其中北京最多(21.99%);(2)东部用户多余西部,南方用户多余北方;(3)各省份大部分用户集中在一到两个城市(区),尤其是省会城市;(4)“西藏”“青海”仍能看到程序员的身影,虽然数量不多;原创 2017-09-09 17:37:53 · 626 阅读 · 0 评论