墨渊的博客

原创 fiddler工具

点击“Actions”，选择 Export Root Certificate to Desktop，点击“yes”，导出证书到桌面后，重启 Fiddler。打开浏览器，点击“证书管理器”，将 Fiddler 证书导入受信任的证书，点击“关闭”。设置路径：Tool->Options-HTTPS，勾选如图内容。浏览 HTTPS 网页，可以在 Fiddler 会话列表中看到，HTTPS 数据包已经成功被抓取。点击“Actions”，选择 Trust Root Certificate，点击“yes”......

原创 javascript 基本教程

打印输出lengthvar声明变量console.log控制台打印输出。在对象方法中，this指向调用它所在方法的对象。比较运算符和逻辑运算符。let也是声明变量。

原创 chorme 开发者工具

查看 网页源代码ctrl + uctrl + f 快速搜索标签Elements 有几个功能：选择元素 ：通过鼠标去选择页面上某个元素，并定位其在代码中的位置。模拟器 ：模拟不同设备的显示效果，且可以模拟带宽。代码区 ：显示页面代码，以及选中元素对应的路径样式区 ：显示选中元素所受的 CSS 样式影响Network 在开发者工具里选择 Network 标签页就进入了网络监控功能，也就是常说的“ 抓包后面在写实用的.........

原创 python 安装 selenium驱动

接上一遍文章https://blog.csdn.net/qq_43233737/article/details/124862276?spm=1001.2014.3001.5501安装selenium驱动 下载好后有个chorme.exe 这个是谷歌浏览器的驱动程序没有这个selenium就无法运行把驱动放到这里面 python 就能找到配置文件了不用特别配置环境了如有些包安装不了的话也可以用这个方法 下载好模块的包 放到Scripts这个目录里面 在进入当前目录执行 pip install xx

原创 selenium 谷歌驱动 下载网址

http://chromedriver.storage.googleapis.com/index.html现在 版本101了

原创 gui 猜数字 基于Tkinter库类

'''@File :猜数字.py@Author :墨渊@CSDN ；https://https://blog.csdn.net/qq_43233737?spm=1001.2014.3001.5343@Time to date 2022-4-3 22.10'''import tkinter as tkfrom tkinter import *import randomfrom tkinter import messageboximport tkinterclass App: ..

原创 python 操作mongo

1.插入数据import pymongomyclient = pymongo.MongoClient("mongodb://localhost:27017/")mydb = myclient["runoobdb"]mycol = mydb["sites"]mydict = {"name": "RUNOOB", "alexa": "10000", "url": "https://www.runoob.com"}x = mycol.insert_one(mydict)print(x)pri

原创 MongoDB 入门

安装教程1.查询所有数据库可以看到我们数据里没有任何数据2.创建数据库3.向数据库插入数据4.查询文本5.更新文本

原创 tk 下载器

from tkinter import *import tkinter.filedialog#新建按钮控件def newfile(): #点击了按钮就打印hello print('hello')def openfile(): passdef savefile(): #askdirectory(title='另存为...',initialfile= '未命名.txt',filetype=[('文本文档','*.txt'),('python文件','*.py')

原创 正则古诗词练习

import reimport requestsfrom fake_useragent import UserAgenturl = 'https://www.gushiwen.cn/shiju/xiejing.aspx'#随机请求头headers = { 'user-agent':UserAgent().random}#构造请求response = requests.get(url,headers=headers)info = response.text# # print(i

原创 python 正则爬取图片

原创 python 管理系统实现mysql交互

没配置的可以看一下我上一篇地址开启小皮数据库text 数据库表 student 字段 student_no name age sex效果图如下增删查改用类的方法写了一下构造搞了半天 但搞出来了修改那有个bug 修改玩了还卡在那输入一个不存在的学号就退出当前 回到主页面了写着复盘'''学生系统基本功能增删查改'''import pymysqlclass Mysql(object): #初始化方法 def __init__(self):

转载 python 实现视频下载

'''@File :视频下载.py@Author :墨渊@CSDN ；https://https://blog.csdn.net/qq_43233737?spm=1001.2014.3001.5343'''import sysfrom you_get import common as you_get # 导入you-get库from multiprocessing import Pool#设置下载目录directory = r'F:\视频'#要下载的视频地址base_ur.

原创 python 实现mysql增删查改

本地安装配置phpstduy安装这个数据库管理工具 一会我们要手动创建数据库 数据表 字段 当然也可以代码创建1.增import pymysql'''host 主机名 这里是你的ip地址 user 数据库账号password 数据库密码port 端口 mysql数据库端口db 数据库名基本语句cursor = conn.cursor()#初始化一个游标对象sql = "数据库操作语句"cursor.execute(sql)#执行该语句conn.commit()#关闭游

原创 爬虫使用代理

爬网页的时候，尤其是一些商用网站，如果使用本地IP很容易就会被封掉，因此我们需要在代理网站上购买代理，我使用的是代理太阳代理: http://www.taiyanghttp.com首先要在IP白名单中加入自己的IP地址选择ip提取的数量生成api链接*生成API链接，调用HTTP GET请求即可返回所需的IP结果*添加白名单接口:ty-http-d.hamir.net/index/white/add?neek=tyhttp718080&appkey=aab86175bb04bb28e8b

原创 python 抽卡游戏

主函数from sear import shangdiandef seach(): shangdian()if __name__ == '__main__': seach()调用函数import randomimport timedef shangdian(): baeg = ('小物件','背包','电脑','手机','耳机','电脑桌','苹果','华为','现金9999','鼠标') print(f'奖品有:{baeg}') # bae = ra

原创 postman 导出python爬虫代码

postman 导出python爬虫代码import requestsurl = "https://www.baidu.com/"payload={}headers = { 'Connection': 'keep-alive', 'Cache-Control': 'max-age=0', 'sec-ch-ua': '"Google Chrome";v="95", "Chromium";v="95", ";Not A Brand";v="99"', 'sec-ch-ua-mobil

原创 python 注册登录

#注册def register(username,password): ''' 注册用户 ''' with open('login','w',encoding='utf-8') as f: s = "\n".join([username,password]) f.write(s+'\n')def login(): uer = input("请输入用户名:") pwd = input("请输入密码:") print

原创 转站到博客园了

csdn 爬虫版权限制了爬虫以后不更新了博客园开通了以后放在个人介绍里

原创 csdn 文章版权

csdn现在就这退了退了不用了发文章天天说版权问题？那些大v用户怎么不说版权问题？？

原创 爬虫多线程

import requestsfrom bs4 import BeautifulSoupurl = 'http://www.bookschina.com/book_find2/default.aspx?stp=python&scate=0&f=1&sort=0&asc=0&sh=0&so=1&p=2&pb=1'res = requests.get(url)#print(res)html = res.text#抓取def sp

原创 爬虫添加进度条

接着上一个项目改进加一个进度条代码import requestsimport osfrom bs4 import BeautifulSoupdef fetch(url): headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36' }

原创 爬取个性签名

网址https://www.qqtn.com/qm/weimeiqm_1.html代码import requestsfrom bs4 import BeautifulSoupurl = 'https://www.qqtn.com/qm/weimeiqm_1.html'headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom

原创 谷歌开发者工具设置语言

参考文章https://www.163.com/dy/article/GLRQONDF05371T7D.html

原创 爬虫输入关键字搜索爬取图片

import requests#QQ签名def shnang(): key = input('请输入关键词:') url = 'https://www.qqtn.com/qm/?wd='+key try: r= requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding print(len(r.text)) print(r

原创 好用的谷歌插件

Split Tabs.zip可以支持窗口剪切省的手动如果窗口比较多的话看的就比较头皮发麻安装方法安装Split Tabs.zip解压后是crx 格式点击设置找到扩展程序直接拖到到空白区就可以直接安装了安装成功是一把小剪刀的图标链接:提取码：9rsl...

原创 hydra 暴力破解

hydra穷举爆破神器常用破解命令-R 继续从上一次进度接着破解。-S 采用SSL链接。-s PORT 可通过这个参数指定非默认端口。-l LOGIN 指定破解的用户，对特定用户破解。-L FILE 指定用户名字典。-p PASS 小写，指定密码破解，少用，一般是采用密码字典。-P FILE 大写，指定密码字典。-e ns 可选选项，n：空密码试探，s：使用指定用户和密码试探。-C FILE 使用冒号分割格式，例如“登录名:密码”来代替-L/-P参数。-M FILE 指定目标列表文件一

原创 hadoop配置集群子节少了进程

经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。环境：1个NameNode 2个DataNode三台机器，Hadoop为1.2.1解决办法：1.先停止Hadoop，bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/*3.重新格式化DFS bin/hadoop namenode -format4.再重启bin/start-all.sh5.查看各节点j

原创 sqlmap 之post注入

调为low级点击cope to file 把数据数据请求保存到txt-r 使用文件要先使用文件的路径-r表示加载一个文件 --batch 表示自动输入参数 --dbs表示数据库sqlmap -r 22.txt --batch --dbs-D 表示选择数据库 --tables表示数据库sqlmap -r 22.txt --batch -D dvwa --tables-D -T 指定数据库查看的表 ----columns查看表的字段–dump进行解密...

原创 pycharm换源

国内源地址清华: https://pypi.tuna.tsinghua.edu.cn/simple豆瓣: http://pypi.douban.com/simple/阿里: http://mirrors.aliyun.com/pypi/simple/有些同学 安装库可能会很慢 这里换下默认源找到 ctrl + alt +s把默认源换掉清华: https://pypi.tuna.tsinghua.edu.cn/simple豆瓣: http://pypi.douban.com/simple/

原创 python环境奇怪的BUG

python 环境奇怪的BUG今天pycharm用的好好的。突然用不了环境啥的用不了给我来了个3.10最新版最好不要用我调了半天的没用显示不出来环境电脑我又重新安装了一下pycharm还是没用好吧 上截图这个是最后才弄好的呜呜还以为没用呢结果半天重启捣鼓半天又有用了真是一个奇怪的BUG啊！！！ 注同学们没事还是不要随便改python目录还有环境 下课 下课 下课 下课 下课 下课 下课...

原创 爬虫复盘2BeautifulSoup4详解

获取网页是一长串的 html 代码，并不是我们想要的数据解析网页安装BeautifulSoup4pi3 install bs41.导入bs4库from bs4 import BeautifulSoup2.创建beautifulsoup对象先创建一个demo网页html = """<html><head><title>The Dormouse's story</title></head><body><p clas

原创 爬虫复盘3 爬虫基础-实现方式

网络爬虫的第一步结束根据url 获取 网页html信息在python3可以去使用urllib.request 和requests 进行网页数据获取这里我们用requesturllib 库一般苦涩难用不推荐新手用requests 库是第三方库，需要我们自己安装pip3 install requests1.获取网页内容import requestsurl = 'https://www.bxwxorg.com/read/20/'# 获取网页内容response = requests.get(u

原创 爬虫复盘1

1.获取网页urlurl：统一资源定位符，是要爬取目标网页的地址，例如豆瓣电影：https://movie.douban.com/2.发出请求 获得响应用户在浏览器输入网址之后，经过DNS 服务器，找到服务器主机，向服务器发出访问请求，服务器经过解析之后，发送给用户的浏览器HTML、JS、CSS等文件，浏览器解析出来呈现给用户3.提取所需要数据服务器返回给浏览器的数据包括HTML 片段、XML 文档、JSON 文件等数据。针对不同数据选择不同的方式进行数据提取常用解析方式有re 正则表达式；

原创 centsons配置网卡

1.修改网卡配置vim /etc/sysconfig/network-scripts/ifcfg-eth0#eth0代表网卡改成你的ipstatic表示静态ip:wq保存并退出2.重启网络服务service network restart#查看ipifconfig#如果ip修改为定义ip则成功ping www.baidu.com3.设置dns服务vim /etc/resolv.confnameserver 114.114.114:wq保存并退出修改dns后在访问外网会进行域

原创 python 面相对象讲解

1111

原创 scrapy 爬虫系统四、

四、scrapy中间件scrapy的架构图在 Scrapy 框架中的 Engine和 Downloader 之间存在一个中间件层： Downloader Middlewares。Eingle给Downloader发送的每个请求都会通过这些中间件（类似于Pipeline，可以配置很多中间件）。Downloader下载完把response发送给Engine的时候也要通过。我们可以通过中间件的代码来做一下中间操作，如：设置代理，添加请求头等。随机请求头中间件爬虫在频繁访问一个页面的时候，这个请求

原创 大数据基础系列教程

Hadoop 搭建环境：虚拟机操作系统：CentOS6.6 64 位，单核，1G 内存JDK：1.7.0_55 64 位Hadoop：1.1.2使用 sudo vi /etc/sysconfig/network。打开配置文件，根据实际情况设置该服务器的机器名，新机器名在重启后生效。设置 Host 映射文件设置 IP 地址与机器名的映射，设置信息如下：配置主机名对应的IP地址$ sudo vi /etc/hosts设置：<IP 地址> <主机名>例如：192.1

原创 scrapy 爬虫系统三、

3.三数据保存import scrapyimport reclass FengtianSpider(scrapy.Spider):name = ‘fengtian’# allowed_domains = [‘www.che168.com’]start_urls = [‘https://www.che168.com/china/fengtian/#pvareaid=104649’]def parse(self, response): cars = response.xpath("//di

原创 scrapy 爬虫系统二、

二、数据解析和分页抓取import scrapyclass CarsSpider(scrapy.Spider):name = ‘cars’allowed_domains = [‘www.che168.com’]#注意这里要替换掉成要爬取的网址start_urls = [‘https://www.che168.com/china/fengtian/#pvareaid=108402#listfilterstart’]def parse(self, response): item_list