zhyydawn-CSDN博客

原创 Web前端开发从小白开始(一):vue.js开发环境搭建

vue现如今在前端中，是前端开发较常用的'm框架之一，人们简单，搭建开发环境也比较容易，今天先分享一下vue.js开发环境的搭建。一，安装node.jsvue的运行是要依赖于node.js的npm的管理工具来实现，node可以在官网或者中文网里面下载，网址：http://nodejs.cn；根据自己的系统选择对应的版本安装即可，安装过程中选择默认的选项即可，安装路径可以安装在非C盘里面。安装完成后，输入node -v,会输出node的版本号，输入 npm -v,可以看到npm版本号.

2020-07-30 17:13:14 826

原创 MySQL简单操作（一）

my.ini配置[mysql]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]# 设置3306端口port = 3306# 设置mysql的安装目录basedir=C:\\web\\mysql-8.0.11# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错# dat...

2019-01-22 17:04:32 225

原创 python+mitmdump爬取汽车之家汽车信息

一，准备工作（一）安装mitmproxy1,通过 pip install mitmproxy 安装2，通过安装包安装网址：https://github.com/mitmproxy/mitmproxy/releases下载mitmproxy-4.0.1-windows-installer.exe 直接安装就行的（二）证书安装1，电脑安装证书安装好mitmproxy后如果需要获取HTT...

2018-12-19 15:44:55 1548 2

原创 python爬虫使用代理池爬取拉勾网python招聘信息

本文主要使用代理池爬取拉勾网的python招聘信息，关键有两点，一，构建代理池解决同一ip访问频繁封ip问题，二，是找到python招聘信息真正的页面，拉勾网是动态加载出来的，招聘的信息是通过json数据传递的，直接在页面中是获取不到的，需要找到传递json数据的连接，获取到json数据，然后再解析数据，提取需要的因素一，代理池搭建，可以直接去github上下载别人搭建好的代理池，我用的代理池链...

2018-12-14 20:40:28 651

原创 python3爬虫——多线程爬取斗图网表情包

本文用多线程生产者，消费者模式爬取斗图网的表情包，并下载保存到本地，打码如下：import requestsfrom bs4 import BeautifulSoupimport threadingfrom urllib import requestimport osgLock = threading.Lock()BASE_URL_LIST = []IMG_URL_LIST = ...

2018-12-11 19:46:25 862

原创 python爬虫简单应用-----爬取煎蛋网随手拍图片下载到本地

爬取图片比较简单，煎蛋网也没有什么翻盘措辞，在爬取的过程中发现的唯一一个反爬就是图片的地址是用bas464加密的，并且在页面中是隐藏的，如下图1，虽然页面可以看到图片链接，但是实际获取到到的却是是图2中这样的：打印源码发现图片链接后面还有一串编码,img链接是无效的，需要用到的是后面加密的编码：通过base64解码可以得到加密的地址可以通过xpath获取到：xpath(’//li/d...

2018-12-10 16:52:45 380

原创 python3爬虫用代理池爬虫搜狗微信文章

本文是通过搜狗微信，爬取有关python相关文章的标题，正文内容，公众号，发表日期等信息，把获取到的信息保存到mongodb中，因为需要用到代理池，所有需要先配置好代理池，代理词github地址：https://github.com/germey/proxypool ，安装方法参考里面的说明就行，此外需要安装好mongodb数据库和pymongo库，开发使用的是pycharm。一，准备工作首...

2018-12-09 19:38:54 823

原创 python用scrapy框架爬取伯乐在线python所有文章

一，准备工作需要安装好python3，scrapy，mongodb二，创建项目（一）;创建scrapy 项目打开cmd 输入：scrapy startproject tutorialcd 到 tutorial 目录输入：scrapy genspider bole python.jobbole.com/ 可以创建bole.py 的spider项目在pycharm中打开tutoria...

2018-12-04 17:09:04 232

原创 python统计英文文章中单词出现的次数

word="I'm a boby, I'm a girl. When it is true, it is ture. thit are cats, the red is red."word=word.replace(',','').replace('.','')word=word.split()print(word)setword=set(word)for i in setword: ...

2018-12-03 17:17:02 31116 5

原创 python统计列表中元素出现的个数

# 方法一List =[1,2,2,3,3,3,4,4,4,4,5,5,5,5,5]Strlist=['A','B','B','C','C','C','D','D','D','D']a=set(List)b=set(Strlist)print(List)print(Strlist)print(a)for i in a: count =List.count(i) pr...

2018-12-03 15:35:33 35754 2

原创 python3爬虫post请求传递参数获取有道翻译结果

请求网页有两种方式，第一种是直接有get请求网页，服务器直接返回结果，另外一种是通过post请求向服务器传递参数，服务器根据参数返回请求的页面，之前听说有道翻译的post参数中的salt和sign参数比较难处理，看了很多贴，知道了处理方式，salt：是当前时间的时间戳加上0-10的随机字符串salt =str(int(time.time() * 1000)) + str(random.randin...

2018-11-29 14:50:43 1031

原创 python3爬虫selenium+chrom爬取今日头条热点新闻保存到数据库

本人是菜鸟一枚，学了python爬虫有一段时间了，想找个网站练练手，网上搜索今日头条是动态加载的页面，用requests库，需要破as:A175DBDFDEC7024cp: 5BFE87208254DE1，_signature: 4P9lsBAcuwy3yC3rgtk6COD.Za，这些参数都是加密处理的，破解有一定的难度，但是有selenium驱动chrom浏览器就比较好爬取了。一，准备1...

2018-11-28 19:25:43 5572 4

原创 python3函数

1，列表中的字符串转换为整数,用map，返回的是map对象，转换为Listnum=[‘1’,‘2’,‘3’,‘4’,‘5’]num = list(map(int, num))num =[1,2,3,4,5]map()函数map()是 Python 内置的高阶函数，它接收一个函数和一个可迭代对象，并通过把函数依次作用在可迭代对象，比如list的每个元素上，得到一个新的 list 并返回,p...

2018-11-24 17:02:31 132

qq_42689278的博客