ShinyDu-CSDN博客

原创 NodeJS基础操作

一、NodeJS简介简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。二、安装过程1.下载安装包安装包下载地址：https...

2018-08-29 22:38:17 167

原创 PhantomJS安装及运用

一、PhantomJS简介PhantomJS是一个基于webkit内核的无头浏览器，他没有UI界面，所以其内的点击、翻页等人为相关操作都需要程序设计实现。使用方法与selenium相似，区别在于selenium用来获取静态数据，而phantomJS通常用来获取动态数据。二、PhantomJS安装第一步，下载安装包。下载链接：http://phantomjs.org/dow...

2018-08-09 22:24:15 829

原创 MySQL的安装

简介：MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。下载：https://pc.qq.com/detail/3/detail_1303.html安装：打开下载好的程序安装包出现以下界面，并等待随后弹出如下界面：保持默认选项如图，点击下一页：选择MySQL For...

2018-08-08 23:10:53 123

原创 scrapy框架提取标签内文本的几种方法

我们都知道，Scrapy框架是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。在我们使用scrapy框架进行爬虫的时候，通常会遇到如下问题：文字提取不够准确，文字提取的同事提取出了多余的符号等，那么，为了使我们提出的数据更加准确、美观，在这篇博客中，我将为大家详细介绍一下...

2018-08-05 19:17:50 7838 1

原创爬虫框架之scrapy----安装、创建+项目“名词解释”+cmd操作小贴士

Scrapy是一个应用程序框架，用于抓取web站点和提取结构化数据，这些数据可以用于广泛的应用，如数据挖掘、信息处理。尽管Scrapy最初是为web抓取而设计的，但它也可以使用api(比如Amazon Associates的web服务)或作为一个通用的web爬虫程序来提取数据。 1.安装在windows上安装scrapy比较复杂，首先要安装Anaconda，Anaconda下载地址...

2018-08-01 22:11:40 873

原创爬虫----正则 Vs XPath Vs bs4 (百度新闻中的热点新闻为例）

三种爬虫方法的爬虫步骤对比：STEP ONE: 引入1.正则：import refrom urllib.request import Request,urlopen(请求url)from urllib.parse import quote(安全转码）2.XPATH：impor requests(请求URL)from lxml import etree3.bs4:...

2018-07-30 09:05:08 336

1.TypeError:must be str,not int类型错误：必须是一个字符串，不是数字解决办法：使用+拼接时必须使用字符串，或将数字转化成字符串2.SyntaxErrou:invalid syntax 语法错误：非法的语法解决办法：看报错信息在第几行，从这一行往上找错误3.IndentationError: unindent does not match any outer in...

2018-07-10 22:14:11 1425 1

weixin_42657078的博客