2018年11月_梦想橡皮擦

12月 11月 10月 09月 08月 07月

原创 Python爬虫入门教程 30-100 高考派大学数据抓取 scrapy

终于写到了`scrapy`爬虫框架了，这个框架可以说是python爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。安装过程自己百度一下，就能找到3种以上的安装手法，哪一个都可以安装上可以参考 `https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html` 官方说明进行安装。默认生成的代码，包含一个`GaoKaoSpider`的类，并且这个类是用`scrapy.Spider`继承来的而且默认实现了三个属性和一

2018-11-29 21:25:00 21719 5

原创 Python爬虫入门教程 29-100 手机APP数据抓取 pyspider

继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重点学习一下。咱要爬取的网站是 `http://www.liqucn.com/rj/new/` 这个网站我看了一下，有大概20000页，每页数据是9个，数据量大概在180000左右，可以抓取下来，后面做数据分析使用，也可以练习优化数据库。

2018-11-28 18:25:13 21243 6

原创 Python爬虫入门教程 28-100 虎嗅网文章数据抓取 pyspider

今天继续使用`pyspider`爬取数据，很不幸，虎嗅资讯网被我选中了，网址为 `https://www.huxiu.com/` 爬的就是它的资讯频道，本文章仅供学习交流使用，切勿用作其他用途。常规操作，分析待爬取的页面拖拽页面到最底部，会发现一个`加载更多`按钮，点击之后，抓取一下请求，得到如下地址

2018-11-26 20:49:05 19843 4

原创 Python爬虫入门教程 27-100 微医挂号网专家团队数据抓取pyspider

我们要爬取的目标站点是`微医挂号网专家团队数据` 网页地址`https://www.guahao.com/eteam/index`今天尝试使用一个新的爬虫库进行数据的爬取，这个库叫做`pyspider`，国人开发的，当然支持一下。其中`page`参数最重要，表示页码，实际测试中发现，当代码翻页到 <font color=red>84页</font>的时候，数据竟然开始重复了，应该是网站本身系统的问题，这个没有办法。

2018-11-21 18:51:40 21926 10

原创 Python爬虫入门教程 26-100 知乎文章图片爬取器之二

昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。首先，需要获取任意知乎的问题，只需要你输入问题的ID，就可以获取相关的页面信息，比如最重要的合计有多少人回答问题。问题ID为如下标红数字https://www.zhihu.com/question/&lt;font color=red&gt;29024583&lt;/font&am

2018-11-20 14:27:36 20959 2

原创 Python爬虫入门教程 25-100 知乎文章图片爬取器之一

今天开始尝试爬取一下知乎，看一下这个网站都有什么好玩的内容可以爬取到，可能断断续续会写几篇文章，今天首先爬取最简单的，单一文章的所有回答，爬取这个没有什么难度。找到我们要爬取的页面，我随便选了一个选取操作库和爬取地址爬取使用`requests` 存储使用 mongodb 就可以了爬取地址经过分析之后，找到了一个可以返回json的数据接口

2018-11-19 22:40:11 22210 6

原创 Python爬虫入门教程 24-100 微医挂号网医生数据抓取

今天要抓取的一个网站叫做`微医`网站，地址为 `https://www.guahao.com` ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为`pyppeteer` 和 `pyquery`首先找到医生列表页 https://www.guahao.com/expert/all/全国/all/不限/p5 这个页面显示有 **75952** 条数据，实际测试中，翻页到第38页，数据就加载不出来了，目测后台程序猿没有

2018-11-14 19:38:37 21461 13

原创 Python爬虫入门教程 23-100 石家庄链家租房数据抓取

作为一个活跃在京津冀地区的开发者，要闲着没事就看看`石家庄`这个国际化大都市的一些数据，这篇博客爬取了链家网的租房信息，爬取到的数据在后面的博客中可以作为一些数据分析的素材。<img src="http://my.csdn.net/index.php/follow/do_follow?username=hihell" width="0" height="0">我们需要爬

2018-11-13 15:18:48 20786 10

原创 Python爬虫入门教程 22-100 CSDN学院课程数据抓取

1. 写在前面今天又要抓取一个网站了，选择恐惧症使得我不知道该拿谁下手，找来找去，算了，还是抓取CSDN学院吧，CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址，课程数量也不是很多，大概有 6000+ 门课程，数据量不大，用单线程其实就能很快的爬取完毕，不过为了秒爬，我还是选用了一个异步数据操作。2. 分析页码还是需要好好的分析一下页码规...

2018-11-07 18:07:59 20566 8

原创 Python爬虫入门教程 21-100 云课堂课程数据挖掘

写在前面今天咱们抓取一下网易云课堂的课程数据，这个网站的数据量并不是很大，我们只需要使用requests就可以快速的抓取到这部分数据了。你第一步要做的是打开全部课程的地址，找出爬虫规律，地址如下：https://study.163.com/courses/我简单的看了一下，页面数据是基于https://study.163.com/p/search/studycourse.json 这...

2018-11-06 18:13:40 23825 54

原创 51cto课程数据分析

前一段时间抓取了一下`51CTO`的课程数据，针对该部分数据进行了一些课程上的相应分析，看一下基于数据可以获得哪些有用的信息。重点看能不能得到一些有价值的参考。数据如下的样子，比较重要的信息有 <font color="red"> **课程名字** **学习人数** **课程价格** </font>

2018-11-05 23:34:05 19845 12

原创 Python爬虫入门教程 20-100 慕课网免费课程抓取

使用python3爬取慕课网美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的打开我们要爬取的页面，寻找分页点和查看是否是异步加载的数据。...

2018-11-02 16:52:56 23298 7

Linux date命令.pptx

linux dateLinux date命令.pptxLinux date命令.pptxLinux date命令.pptx

2024-01-31

数据库课程设计.pptx

数据库课程设计通常是计算机科学或信息技术相关专业的一部分，旨在帮助学生掌握数据库设计、开发和管理的基本原则和技能。以下是一个典型的数据库课程设计大纲，供您参考： ### 课程名称：数据库课程设计 #### 课程目标： - 理解数据库管理系统的基本概念和原理。 - 学会使用数据库设计工具，设计和规划数据库系统。 - 掌握SQL语言，能够进行数据库的查询、更新、删除等操作。 - 学会数据库性能优化和安全管理。 - 能够进行实际的数据库应用开发和设计。 #### 课程大纲： **第一部分：数据库基础** 1. 数据库管理系统（DBMS）概述 2. 数据库设计范式 3. 实体关系模型（ER模型）和关系模型 4. SQL语言基础 **第二部分：数据库设计和规划** 1. 数据库设计工具的使用 2. 数据库设计的规范和范式 3. 数据库安全性设计 4. 数据库性能优化策略 **第三部分：数据库应用开发** 1. 数据库连接和操作（使用编程语言如Python、Java等） 2. Web应用中的数据库集成 3. 移动应用中的数据库集成 4. 大数据和云数据库的基本概念

2024-01-12

Python圣诞节.pptx

Python圣诞节.pptx Python圣诞节.pptx Python圣诞节.pptx Python圣诞节.pptx

2023-12-26

圣诞树代码编程Python.pptx

圣诞树代码编程python

2023-12-19

华为OD机试.pptx

贰壹贰叁零华为OD机试.pptx 华为OD机试.pptx 华为OD机试.pptx

2023-12-15

Docker教程.pptx

Docker教程.pptx Docker教程.pptx Docker教程.pptx Docker教程.pptx

2023-12-04

OpenCV教程或项目资源.pptx

OpenCV教程或项目资源.pptxOpenCV教程或项目资源.pptxOpenCV教程或项目资源.pptxOpenCV教程或项目资源.pptx

2023-11-27

Linux常用命令.pptx

Linux常用命令 Linux常用命令.pptx Linux常用命令.pptx Linux常用命令.pptx Linux常用命令.pptx Linux常用命令.pptx

2023-11-21

Python爬虫资源.pptx

Python爬虫资源.pptx Python爬虫资源.pptx Python爬虫资源.pptx Python爬虫资源.pptx

2023-11-21

蓝桥杯算法题PPT.pptx

蓝桥杯算法题PPT.pptx 蓝桥杯算法题PPT.pptx 蓝桥杯算法题PPT.pptx

2023-11-19

程序员简历模板.pptx

2023-11-09

Python 编程练习题，每页一个.pptx

上传Python编程练习题、竞赛题、面试题和实战项目题。完成上传与审核后，将获得6分的奖励分。 1、要点：每个题目都应包含完整的输入说明、输出说明，并提供多组用例。 2、文件：至少包含一个题目文档，其中包含题目描述、解题思路；以及一个可运行的Python代码文件。 3、文案：标题不少于20字，简介不少于50字。推荐免费使用C知道AI生成：https://so.csdn.net/chat

2023-11-09

华为OD面试开放数据PPT大纲.pptx

OD面试，即Outsourcing Development面试，是一种通过外包公司进行的面试方式。 OD面试通常用于技术岗位，如软件开发、测试等。 OD面试的流程与普通面试类似，包括笔试、面试等环节。 OD面试的优势在于可以节省企业的招聘成本，提高招聘效率。

2023-11-07

Vue面试题.pptx Vue面试题.pptx Vue面试题.pptx

Vue面试题.pptx Vue面试题.pptx

2023-10-31

如何学习MATLAB.pptx

如何学习MATLAB.pptx 如何学习MATLAB.pptx 如何学习MATLAB.pptx如何学习MATLAB.pptx如何学习MATLAB.pptx

2023-10-25

matlab 矩阵数组第一讲.pptx

mysql安装配置教程 mysql安装配置教程 mysql安装配置教程 mysql安装配置教程 mysql安装配置教程

2023-10-23

用Python实现爱心代码.pptx

爱心代码用Python实现爱心代码.pptx用Python实现爱心代码.pptx用Python实现爱心代码.pptx用Python实现爱心代码.pptx用Python实现爱心代码.pptx

2023-10-19

爱心代码.pptx爱心代码.pptx

爱心代码

2023-10-19

YOLO学习.pptx

YOLO学习.pptx 2023年10月学习资料

2023-10-15

华为OD-技术综合面，手撕代码真题整理（99）：最小生成树在城市规划中的应用-最长公共子序列问题.md

华为OD_技术综合面，手撕代码真题整理（99）：最小生成树在城市规划中的应用___最长公共子序列问题.md

2023-10-15

YOLO初级学习大纲.pptx

YOLO初级学习大纲.pptx YOLO初级学习大纲.pptx YOLO初级学习大纲.pptx YOLO初级学习大纲.pptx

2023-10-08

Matlab资源.pptx

** 提供Matlab软件下载、安装、更新等服务

2023-09-28

AmazonCodeWhisperer.pptx Amazon CodeWhisperer是一个用于代码审查和优化的工具

Amazon CodeWhisperer是一个用于代码审查和优化的工具

2023-09-28

rk3399android71平台新增HDMI特殊分辨率输出改补丁.pptx

原因：rk3399的android7.1平台在HDMI输出时存在分辨率问题，导致显示效果不佳必要性：为了提升用户体验，需要修改HDMI特殊分辨率输出，以实现更好的显示效果背景：rk3399的android7.1平台在HDMI输出时存在分辨率问题，导致显示效果不佳解决方案：通过修改HDMI特殊分辨率输出，实现更好的显示效果

2023-09-20

matplotlib.pptx

matplotlib 是一个用于创建静态、动态和交互式图形的 Python 库。它提供了一整套类似于 MATLAB 的绘图函数，可以生成高质量的图形。 matplotlib 支持多种图形格式，如 PNG、JPG、EPS、PDF 等。它广泛应用于数据可视化、科学计算和机器学习等领域。

2023-09-20

使用Rational Rose创建模型：详细教程与示例代码.md

使用Rational Rose创建模型：详细教程与示例代码.md 使用Rational Rose创建模型：详细教程与示例代码.md 使用Rational Rose创建模型：详细教程与示例代码.md 使用Rational Rose创建模型：详细教程与示例代码.md

2023-09-14

KMP算法C++实现.pptx

KMP 算法的核心思想是避免在文本串中进行不必要的比较。在传统的朴素匹配算法中，每当我们在文本中找到不匹配的字符时，我们会将子串向右移动一个位置，并重新开始比较。这种方法的问题是，我们可能会多次比较相同的字符。 KMP 算法通过构建部分匹配表（也称为失配函数）来解决这个问题，以在不匹配时跳过尽可能多的字符。部分匹配表告诉我们在不匹配时应该将子串移动到的位置，而不是每次都向右移动一个位置。这样，我们可以避免不必要的比较，提高了算法的效率。

2023-09-13

KMP 算法，即 Knuth-Morris-Pratt 算法，是一种用于字符串匹配的经典算法与朴素的字符串匹配算法相比，KMP

KMP 算法，即 Knuth-Morris-Pratt 算法，是一种用于字符串匹配的经典算法。与朴素的字符串匹配算法相比，KMP 算法具有更高的效率，特别是在处理大型文本时。本文将介绍 KMP 算法的原理，并提供 C++示例代码来演示如何实现它。

2023-09-13

大学生 Python爬虫入门指南.pptx

大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.ppt 大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.ppt 大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.pptx 大学生 Python爬虫入门指南.ppt

2023-09-08

Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx

Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx Python爬虫的网页内容提取与数据分析：提升SEO效果实战指南.pptx

2023-09-08

MATLAB是一种编程语言和数学计算环境

主要应用于科学计算、数据分析和工程设计等领域提供丰富的工具箱和函数库，支持各种数学运算和图形绘制集成开发环境（IDE），包括代码编辑器、调试器和图形用户界面（GUI）支持多种操作系统，如Windows、Linux和macOS

2023-08-29

MATLAB三维数组详解与应用

三维数组的定义与创建三维数组的属性与操作三维数组的可视化与应用三维数组的定义与创建三维数组的属性与操作三维数组的可视化与应用三维数组的定义与创建三维数组的属性与操作三维数组的可视化与应用

2023-08-23

python itertools.pptx

在Python中，迭代是一种常见的数据处理方式。然而，对于大规模数据集，迭代性能的优劣直接影响到程序的运行效率。本文将介绍如何利用Itertools模块来优化Python迭代性能，并通过案例分析深入解析Itertools的工作原理。最后，我们将对Itertools优化Python迭代性能的知识点进行详细解答，以帮助读者更好地理解和应用Itertools。

2023-08-21

Pythonlower函数用法PPT.pptx

- 字符串对象：在 Python 中，字符串是不可变的对象。这意味着一旦创建了一个字符串，就不能修改其内容。因此，`lower()`函数返回的是一个新的字符串，而不是修改原始字符串。 - ASCII 码表：在计算机中，每个字符都有一个对应的 ASCII 码。字母字符的 ASCII 码值是不同的，其中大写字母的 ASCII 码值比小写字母的 ASCII 码值要小。`lower()`函数通过将大写字母的 ASCII 码值转换为对应的小写字母的 ASCII 码值来实现大小写转换。 - 字符编码：在 Python 中，字符串实际上是由一系列字节组成的序列，这些字节对应于字符的编码。常见的编码方式包括 UTF-8、ASCII 等。`lower()`函数对于不同编码的字符串可能会有不同的行为，具体取决于该编码是否支持大小写转换。