Fiddler 安装运用------MongoDB安装

一.Fiddler 工具

1.Fiddler介绍

1. fiddler ip:127.0.0.1
2. 默认端口号:8888 (可以修改,保证端口号不能被占用)
3. fiddler抓包流程 :

• fiddler安装—傻瓜式安装----(下一步…下一步直接安装)

2.Fiddler抓https包,需要配置如下:

• fiddler默认是不能抓取https协议包
• 需要对fiddler进行如下配置来抓取https协议包
• Tools-----options----https-----重启fiddler

3.Fiddler抓取app包

• Tools—options----connections----重启fiddler

• 下载并安装夜神模拟器------进入夜神模拟器(位置:bin目录下的)------nox.exe

• 配置夜神模拟器(点击设置----点击WLAN-----按住wiredSSID-----点击修改网络-----选中高级选项-----代理改为手动-----填写代理服务器主机名(本地id)和端口号(fiddler的端口号))

• 点击浏览器----输入网址:本机的ip:fiddler端口号------下载fiddler根证书

点击下载完成-----证书命名(名字随意)-------点击确定------需要设置开机密码(自行设置)

二.MongoDB

1.MongoDB安装

MongoDB安装步骤：

1.文件配置

• 1.通过安装软件，傻瓜式安装
• 2.进入安装目录，创建名为data的文件夹
• 3.进入data目录，创建两个文件夹（db、log）
• 4.进入log文件夹，创建日志文件(mongo.log)
• 5.回到安装目录（和bin目录同级），创建配置文件（mongo.config）
• 6.打开配置文件，写入： dbpath=db目录所在的路径 logpath=log文件所在目录
• 完成以上，MongoDB安装完成
  

2.启动cmd(在bin下启动)

启动MongoDB数据库：MongoDB数据库端口号：27017

• 先启动MongoDB服务：mongod --dbpath db所在目录
• 再启动MongoDB数据库：mongo
• 注意：启动MongoDB数据库时，一定要保证服务是开启的状态。
  

3.添加MongoDB数据库服务：

• 将MongoDB数据库的bin目录路径添加到环境变量中。
• 将MongoDB服务加载到windows服务上，
• 使用管理员身份运行cmd:

执行命令：
mongod --bind_ip 0.0.0.0 --logpath D:\mongodb\data\log\mongo.log --logappend --dbpath D:\mongodb\data\db --serviceName “MongoDB” --serviceDisplayName “MongoDB” --install

• 执行后不会有反应/报错即为正确

4.进入windows服务中，开启MongoDB服务即可

2.MongoDB的基础操作

SQL/MongoDB	解释/说明
database/database	数据库
table/collection	数据库表/集合
row/document	数据记录行/文档
column/field	数据字段/域
index/index	索引
table joins/	表连接,MongoDB不支持
primary_keyprimary_key	主键,mongoDB自动将_id字段设置为主键

三.案例

1.梨视频获取数据1

import requests,re
base_url='http://app.pearvideo.com/clt/jsp/v4/home.jsp?start=29&index=30&pstart=30&lastScore=1.606808081682171E12&isHome=1&channelCode=110100'
#请求头
headers={
    'User-Agent': 'okhttp/3.11.0',
    'Cookie': '__secdyid=35a43edc5f1d7d65bc5d52905d21cec6794561162d48a338021606823230; acw_tc=76b20f7016068232310001878e7b5cc0ea094b9ff8f650a071b8c4d1396645; PEAR_PLATFORM=2; PEAR_UUID=355757199412368; JSESSIONID=0B1058C89F9C87F6C6660DF7A0CBFB2D; SERVERID=ed8d5ad7d9b044d0dd5993c7c771ef48|1606823280|1606823231'
}
#发起请求
response=requests.get(url=base_url,headers=headers)
# print(response.json())

#获取名称
data_list=response.json()['dataList']
# print(data_list)

try:
    for data in data_list:
        # print(data)
        title_name=data['contList'][0]['name']
        title_pattern=re.compile(r'[\/\\\*\:\?\"\>\<]')
        title_name=title_pattern.sub('',title_name)
        # 获取url
        data_url=data['contList'][0]['videos'][0]['url']
        print(title_name,data_url)
        #发起请求
        mp4_response=requests.get(url=data_url)
        # 保存文件
        with open(f'./video/{title_name}.mp4','wb')as fp:
            fp.write(mp4_response.content)
except:
    pass

2.梨视频获取数据2

import requests,re,os,json

base_url='http://app.pearvideo.com/clt/jsp/v4/home.jsp?start=29&index=30&pstart=30&lastScore=1.606808081682171E12&isHome=1&channelCode=110100'

#请求头
headers={
    'User-Agent': 'okhttp/3.11.0',
    'Cookie': '__secdyid=35a43edc5f1d7d65bc5d52905d21cec6794561162d48a338021606823230; acw_tc=76b20f7016068232310001878e7b5cc0ea094b9ff8f650a071b8c4d1396645; PEAR_PLATFORM=2; PEAR_UUID=355757199412368; JSESSIONID=0B1058C89F9C87F6C6660DF7A0CBFB2D; SERVERID=ed8d5ad7d9b044d0dd5993c7c771ef48|1606823280|1606823231'
}

# 打开文件
data_file=os.listdir(r'D:\app\pachong\pear_video')
# print(data_file)

for data in data_file:
    with open(r'D:\app\pachong\pear_video\\'+data,'r',encoding='utf-8')as fp:
        data_all=json.load(fp)
        # print(data_all)
        data_list=data_all['dataList']
        try:
            for data in data_list:
                # print(data)
                # 获取标题名
                title_name=data['contList'][0]['name']
                title_pattern = re.compile(r'[\/\\\*\:\?\"\>\<]')   #文件命名规范
                title_name = title_pattern.sub('', title_name)
                # 获取url
                data_url=data['contList'][0]['videos'][0]['url']
                print(title_name,data_url)
                #发起请求
                mp4_response=requests.get(url=data_url)
                # 保存文件
                with open(f'./video/{title_name}.mp4','wb')as fp:
                    fp.write(mp4_response.content)
        except:
            pass
            

----------不要忘记点赞关注哦---------