- 博客(10)
- 收藏
- 关注
RSS订阅原创 小白 Pycharm anaconda 虚拟环境 解释器 创建新项目 模块 库 包
Pycharm anaconda 创建虚拟环境 章节导航Pycharm anaconda 创建虚拟环境背景知识Pycharm新建环境Pycharm使用已创建环境实操方案创建新项目选择已存在解释器在Pycharm添加已存在的解释器进入该项目的解释器设置页面查看解释器所带软件包 背景知识 Pycharm新建环境 PyCharm使用anaconda新建环境是只包含一些基础包,后续如果想要如Scrapy.requests等库的话则需要自己在解释器页面添加了(ctrl+alt+s进入解释器设置页面) 而且新环境中的
2021-05-15 14:10:02
441
1
原创 this与static的爱恨情仇
- this与实例化对象的关系 - 通过实例化对象实现在static方法中调用non-static属性,方法 - 为什么在main函数中实例化对象后仍然无法用this引用non-static属性,方法
2021-04-06 23:51:19
85
原创 个人收藏夹[3]-药监局爬取
#!/usr/bin/env python #-*- coding:utf-8 -*- import requests import json id_list=[] detail_all=[] if __name__=="__main__": #准备post方法的url,data,headers参数 url="http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList" for page in ra
2021-02-09 15:37:56
223
原创 个人收藏夹[2] -下载图片
#!/usr/bin/env python #-*- coding: utf-8 -*- import requests import re import os if __name__=="__main__": all=[]#整个网页的数据 jpg_url_list=[]#存储图片的url if not os.path.exists("./humour"): os.makedirs("./humour") #参数准备 headers = {
2021-02-09 15:36:23
205
2
原创 个人收藏夹[1]-爬取网页源代码,并保存
import requests if __name__ == "__main__": #step_1:指定url url = 'https://www.baidu.com/' #step_2:发起请求 #get方法会返回一个响应对象 response = requests.get(url=url) #step_3:获取响应数据.text返回的是字符串形式的响应数据 page_text = response.text print(page_tex
2021-02-09 15:24:18
440
原创 减少申请多个url的时间-方法
有时想要爬取多个网站,总不能自己运行一个程序之后再改url吧.呐,下面是解决方法.(提前告知:这文章是学习笔记,会有很多疏漏) 使用线程池 导入模块 from multiprocessing.dummy import Pool 编写需要放入线程池的函数 -注意事项:编写函数只能请求一个url,实现同时请求多个url的是Pool -代码实例 def get_video_data(dic):#传入的字典 data = requests.get(url=dic["url"
2021-01-30 21:33:20
59
原创 使用斐斐验证码破解古诗文网验证码
遇到困难: 1调用第三方软件不成功 问题所在:在源程序中斐斐的py文件如果自动执行便可以实现要求,便以为直接使用该文件(库)就会作为脚本运行. 解决方法:调用该库的TestFunc()函数,运行该函数可达到运行该程序目的 2 存储验证码的图片无法通过在主程序调用fateadm_api库实现传递 问题所在:fateadm_api库与主程序不在一个项目文件里,无法在当前目录下直接查找验证码图片 解决方法:通过绝对路径查找验证码图片 3 post(data=data…)data
2021-01-29 22:52:25
312
原创 爬取某网站壁纸 Day3
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-01-29 00:05:30
80
原创 基本库的使用Day:2
requests库高级用法 -文件上传 -example: files = {‘file’:open(“文件名”,“打开方式”),} r=requests.post(url,files=files) -Cookies: -获取方式:浏览器粘贴 -添加至headers字典中 直接添加 新建RequestCookieJar对象 需要使用cookies.split()分割每对key,value -会话维持 -每一次发起请求等于打开新的浏览器,cookies会无法使用, -解决方法 Ses
2021-01-27 16:58:43
53
原创 爬虫学习笔记-爬虫基础
HTTPS基本原理 网页基础 爬虫基础 会话与Cookies 代理 -HTTPS基本原理 -与服务器建立链接:URL/URI -服务器返回对象:超文本(网页源代码)数据的主干 -网络传输超文本数据的协议:HTTP -认证用户和服务器,加密,维护数据:SSL -请求: 请求头: Request.headers:(服务器判断是否返回数据) 服务器判断依据:UA,Cookie,Host,Referer, 指定服务器返回数据类型:Accept,Accept-Encodin..
2021-01-26 18:17:03
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人