工藤新二z-CSDN博客

原创 python字典转化为Json格式并写入

python字典转化为Json格式并写入Python的json读写方式和字典与json的相互转化在Python中，json指的是符合json语法格式的字符串，可以单行或者多行。它可以方便的在使用在多种语言中，这里介绍的是在python中的字典（dict）与json字符串相互转化的方式。导入json包import json初始化一个字典数据dict_ = { 'name': 'Jack', 'age': 22, 'skills': ['Python', 'J

2021-05-05 22:24:16 29814 1

原创 python实现在excel文件中写入和追加内容

excel是我们在日常工作中经常会用到的表格工具，我们在也已通过python来实现excel文件中写入和追加内容。话不多说，上干货。import xlwtimport xlrdfrom xlutils.copy import copydef write_to_excel(words, filename, sheet_name='sheet1'): ''' 将item存储到excel中。 :param words: 保存item的list [{},{}]格式

2021-01-11 17:34:40 10601 3

原创 requests模拟需要验证码的登录

利用requests模拟需要验证码的登录，这个过程最重要的就是找到验证码图片的接口和登录请求。本次我们登入的的界面如图所示：我们通过谷歌打开F12 找到验证码图片的那条请求登录抓到登录的请求观察form_data中的参数：发data中的帐号密码进行加密但是验证码并没有加密把这些接口搞清楚在之后就可以模拟登录了代码如下import requestsimport timeimport redef crawl(): # 创建会话对象方便访问不同页面时能保持身份

2021-01-05 16:11:43 3142 1

原创多线程爬取壁纸，再也不用担心没有好看的壁纸了

爬取的url：https://www.h128.com/list/game/0/2/1/4/t/1.html本人选取了自己想要的分类图片，如果要爬取其他的类型壁纸而已自行选择分类，并更改代码中的url即可话不多说，直接上代码，关键地方代码中都有注释。import requestsfrom lxml import etreeimport threadingfrom queue import Queue # 先进先出队列（本例使用）# 创建一个类继承Thread线程类class Pict

2020-10-21 22:34:49 693

原创 pandas基础之dataframe和series的结构，创建及属性

dataframe和series的创建import pandas as pdimport numpy as np# 可以使用 pd.DataFrame来创建DataFrame结构# 1、将大字典转化为dfdf = pd.DataFrame( data={ 'name': ['zs', 'ls', 'ww'], 'age': [16, 17, 16], 'group': [1, 2, 1] }, index=['stu0',

2020-10-12 22:23:16 650

原创 matplotlib之简单折线图

matplotlib绘制图形主要用于2-d图形绘制，也可以绘制3-d图形绘制流程1、创建画布2、绘制图形3、图形展示import matplotlib.pyplot as pltimport numpy as np# 以简单的折线图为例，绘制图形# 1、创建画布plt.figure()# 2、绘制图形# 折线图---点 --->(x,y)# (x1,y1),(x2,y2),(x3,y3),...,# 准备横轴x = np.array([1, 2, 3])# 准备纵轴

2020-09-29 21:03:34 182

原创 http请求常见的5类状态码

状态码是开发者需要了解的一项内容，日常开发中浏览器会返回给我们一些状态码，然后我们可以根据状态码所代表的含义进行问题解决。**1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态代码。**100 （继续）请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。101 （切换协议）请求者已要求服务器切换协议，服务器已确认并准备切换。**2XX (成功) 都表示服务器成功处理了请求的状态代码，说明网页可以正常访问。**200（成功）服务器已成功处

2020-09-22 21:24:51 2732

原创增量爬虫爬取猫眼电影演员信息

通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。如何进行增量式的爬取工作：1、在发送请求之前判断这个 URL 是否爬取过。2、在解析内容后判断这部分内容是否爬取过。3、写入存储介质时判断内容是否在介质中不难发现，其实增量爬取的核心是去重，至于去重的操作在哪个步骤起作用，只能说各有利弊。在我看来，前两种思路需要根据实际情况取一个（也可能都用）。第一种思路适合不断有新页面出现的网站，例如：小说的新章节，每天的最新新闻等等。第二种思路则适合页面内容会更新的网站。第三个思

2020-09-21 22:38:26 655

原创 scrapy使用selenium爬取豆瓣阅读

首先创建scrapy项目命令：scrapy startproject douban_read创建spider命令：scrapy genspider douban_spider url网址：https://read.douban.com/charts关键注释代码中有，若有不足，请多指教scrapy项目目录结构如下douban_spider.py文件代码爬虫文件import scrapyimport re, jsonfrom ..items import DoubanReadItem

2020-09-18 23:02:45 1014 2

原创多线程爬取某讯招聘的职位信息

多线程爬取某讯招聘的职位信息网址：https://careers.tencent.com/search.html?index=1使用模块：requests, threading，queue话不多说直接上代码，关键注释代码中有，如有不足请多指教import requests, threadingfrom queue import Queue # 先进先出队列（本例使用）from queue import LifoQueue # 先进后出队列# 创建一个类继承Thread线程类class

2020-09-16 22:22:46 157

原创 Ajax

定义和用法ajax() 方法通过 HTTP 请求加载远程数据。该方法是 jQuery 底层 AJAX 实现。简单易用的高层实现见 $.get, .post等。.post 等。.post等。.ajax() 返回其创建的 XMLHttpRequest 对象。大多数情况下你无需直接操作该函数，除非你需要操作不常用的选项，以获得更多的灵活性。最简单的情况下，$.ajax() 可以不带任何参数直接使用。注意：所有的选项都可以通过 $.ajaxSetup() 函数来全局设置。语法jQuery.ajax([s

2020-08-25 00:09:37 111

原创 flask和Django框架

Flask框架简介Flask诞生于2010年，是Armin ronacher（人名）用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架。它主要面向需求简单的小应用。Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login），都需要用第三方的扩展来实现。比如可以用Flask-extension加入ORM、窗体验证工具，文件上传、身份验证等。Flask没有默认使用的数据库，你可以选择MySQL，也可以用NoSQL。其 W

2020-08-23 22:39:12 336

qq_45665594的博客