- 博客(11)
- 收藏
- 关注
RSS订阅原创 03-Matplotlib数据可视化
Matplotlib介绍与安装Matplotlib介绍什么是MatplotlibMatplotlib是一个Python的绘图库，它可与 NumPy 一起使用，可以代替Matlab使用。为什么要学习Matplotlib1、将数据进行可视化，使数据更直观2、是数据更加具有说服力Matplotlib安装由于Matplotlib是第三方库，所以我们需要安装它才可以使用。注意，Matplotlib3.0要求python3版本才可安装使用。安装命令：pip install matplotlib3-
2020-07-30 16:37:03
417
原创 02-MySQL数据库操作（详解）
2-1数据库介绍为什么要学习数据库？通常，我们存储数据，直接用本地文件即可。但是，本地文件不利于存放海量数据，也不利于用程序对文件的数据进行查询与管理。那么为了解决这些弊端，才有数据库的出现，那么数据库也是每个程序员必须掌握的技术。数据库介绍数据库(database)简称DB，实际上就是一个文件集合，是一个存储数据的仓库，本质就是一个文件系统，数据库是按照特定的格式把数据存储起来，用户可以对存储的数据进行增删改查等操作。数据库存储数据特点持久化存储读写速度极高保证数据的有效性对程序支持非
2020-07-30 16:29:07
675
原创 01-数据分析介绍与环境安装
1-1数据分析介绍数据分析基本概念用适当的统计方法分析方法对收集来的大量数据进行分析提取有用信息和形成结论对数据加以详细研究和概括总结的过程数据分析的流程为什么要学习数据分析岗位有需求是机器学习的基础数据科学的基础数据分析工具注意数据分析与数据挖掘的相似之处：数据挖掘和数据分析都是对数据进行分析、处理等操作，从而得到有价值的知识数据分析与数据挖掘的区别：在应用工具上，数据分析更多的是借助现有的分析工具进行；而数据挖掘一般需要通过编程来实现。在行业知识方面，数
2020-07-29 20:39:52
254
原创 八、selenium
动态HTML技术了解JS是网络上最常用的脚本语言，它可以收集用户的跟踪数据，不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页jQueryjQuery是一个快速、简洁的JavaScript框架，封装了JavaScript常用的功能代码ajaxajax可以使用网页实现异步更新，可以在不重新加载整个网页的情况下，对网页的某部分进行更新获取ajax数据的方...
2020-04-08 21:25:46
298
原创 七、爬虫思路总结
爬虫思路总结准备URL准备start_url页码总数不明确URL地址规律不明显（xpath提取下一页的URL地址）准备url_list页码总数明确URL地址规律明显的（page=2）发送请求，获取响应添加随机的User-Agent代理IPsession提取数据确定数据的位置如果数据在当前的URL地址中数据在列表页面直接发送请求...
2020-04-07 10:05:06
151
原创 六、爬虫数据-Beautiful Soup
Beautiful Soup的简介Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据，官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为...
2020-03-30 11:07:16
225
原创 五、爬虫数据-xpath
为什么要学习XPATH和LXML类库lxml是一款高性能的Python HTML/XML解析器，我们可以利用Xpath来快速的定位特定元素以及获取节点信息什么是XPATHXpath是一门在HTML/XML文档中查找信息的语言，可以用来在HTML/XML文档中对元素和属性进行遍历文档：https://www.w3school.com.cn/xpath/index.asp认识XMLXM...
2020-03-05 12:27:07
165
原创 四、爬虫数据-json
数据提取什么是数据提取？简单的来说，数据提取就是从相应中获取我们想要的数据的过程数据分类非结构化数据：HTML处理方法：正则表达式、xpath结构化数据：json、xml处理方法：转化为Python数据类型数据提取之json由于把json数据转化为python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URLJSON是⼀种轻量级的数...
2020-02-16 16:17:48
647
原创 三、requests深入
发送POST请求哪些地方我们会用到POST请求：1 登录注册(post比get安全)2 需要传输大文本的时候(POST请求对数据长度没有要求)爬虫也需要在这两个地方模拟浏览器发送post请求百度翻译案例import requests# 快捷键：ctrl + r 上(.*?):(.*) 下'$1':'$2',data = { 'from': 'en', '...
2020-02-16 15:32:41
322
原创 二、爬虫requests库简单介绍
为什么要学习requests，而不是urllibrequests的底层实现就是urllibrequests在Python2和Python3通用，方法完全⼀样requests简单易用requests能够自动帮助我们解压(gzip压缩的)网页内容requests的作用作用：发送网络请求，返回相应数据中文文档API：http://docs.python-requests.org/zh...
2020-02-14 12:19:25
421
原创 一、爬虫HTTP和HTTPS
数据的来源企业生产的用户数据数据管理咨询公司政府 / 机构提供的公开的数据第三方数据平台购买数据爬虫爬取数据爬虫怎么抓取网页上的数据网页三大特征：网页都有自己唯一的URL网页都是HTML来描述页面信息网页都使用HTTP / HTTPS协议来传输HTML数据爬虫的设计思路确定需要爬取的URL地址通过HTTP / HTTPS协议获取对应的HTML页面提取HTML页...
2020-02-14 11:48:51
1419
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人