爬取百度统计内全部来源标签与地域标签数据并保存至sql server数据库中（https://tongji.baidu.com/main/overview/demo/overview/index）

已于 2023-12-15 15:36:33 修改
阅读量539 收藏 6
点赞数 12
文章标签： 数据库 python 正则表达式 网络爬虫
于 2023-12-15 15:22:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nfkjdx/article/details/135017148
版权
文章讲述了如何通过分析百度统计网站内容，使用Python编写爬虫，包括获取HTML、解析其中的JavaScript数据，利用正则表达式提取所需数据，然后清洗并保存到SQLServer数据库的过程。
摘要由CSDN通过智能技术生成

一、分析百度统计网站内容

1.打开网站，找到趋势分析，点击F12，找到元素内的数据

在这里插入图片描述

2.其次，打开网站，找到趋势分析，点击F12，找到网络内的数据

在这里插入图片描述
其中，里面的label标签被编码处理过，需要进行解码后才为中文；

3.最后需要找到数据的请求地址、方式和请求头，才可以将数据爬取下来

在这里插入图片描述

二、编写爬虫代码，包括获取文本、解析文本、清洗数据与保存数据

1.构建请求头，获取文本内容

 def __init__(self):
        self.url = 'https://tongji.baidu.com/web5/10000569924/trend/time?siteId=19477719'
        self.headers = {
            'Accept':'*/*',
            'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
            'Connection':'keep-alive',
            'Host':'tongji.baidu.com',
            'Referer':'https://tongji.baidu.com/main/overview/10000569924/trend/time?siteId=19477719',
            'Sec-Ch-Ua':'"Not/A)Brand";v="99", "Microsoft Edge";v="115", "Chromium";v="115"',
            'Sec-Ch-Ua-Mobile':'?0',
            'Sec-Ch-Ua-Platform':'"Windows"',
            'Sec-Fetch-Dest':'empty',
            'Sec-Fetch-Mode':'cors',
            'Sec-Fetch-Site':'same-origin',
            'Cookie':'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX',
            'User-Agent':'XXXXXXXXXXXXXXXXXXXXXXXXXXXXX'
     }

    def get_html(self):
        html = requests.get(url=self.url,headers=self.headers).text
        print(html)

爬取结果如下图：发现需要获取的数据在javascript文件里面，因此需要利用正则re根据其特点去提取所需要的数据
在这里插入图片描述
在这里插入图片描述

2.利用正则re、列表list以及字典dict提取整理数据并保存至sql server数据库中

 def parse1_html(self,html):
        L1,L2,D1 = [],[],{}
        p = re.compile(r'"sourceList":(.*),"indexInfo"', re.MULTILINE)
        p1 = p.findall(html)
        s1 = p1[1].replace('{','').replace('}','').replace('[','').replace(']','').split(',')
        for i in range(len(s1)):
            if(s1[i].split(':')[0]=='"id"'):
                L1.append(s1[i].split(':')[1])
            elif (s1[i].split(':')[0]=='"label"'):
                L2.append((s1[i].split(':')[1].replace('"','').replace('"','')).encode('utf-8').decode('unicode_escape'))
            else:
                continue
        L3 = L1[3:len(L1)-1]
        L3.insert(0,'0')
        L4 = L2[3:len(L2)-1]
        for j in range(len(L4)):
            D1[L3[j]] = L4[j]
            
        self.parse3_sql(D1,"searchsource")

    def parse2_html(self,html):
        L1,L2,D1 = [],[],{}
        p = re.compile(r'"areaList":(.*),"visitorList"', re.MULTILINE)
        p1 = p.findall(html)
        s1 = p1[1].replace('{','').replace('}','').replace('[','').replace(']','').split(',')
        for i in range(len(s1)):
            if(s1[i].split(':')[0]=='"id"'):
                L1.append(s1[i].split(':')[1])
            elif (s1[i].split(':')[0]=='"label"'):
                L2.append((s1[i].split(':')[1].replace('"','').replace('"','')).encode('utf-8').decode('unicode_escape'))
            else:
                continue
        
        L3 = L1[3:len(L1)-1]
        L3.insert(0,'1')
        L4 = L2[3:len(L2)-1]
        for j in range(len(L4)):
            D1[L3[j]] = L4[j]
            
        self.parse3_sql(D1,"areaList")
        
    def parse3_sql(self,dic,types):
        connect = pymssql.connect(server='XXXX', user='XXXX', password='XXXX', database='XXXX')
        cursor = connect.cursor()
        for key,value in dic.items():#datetime.datetime.now()
            sql_select = " insert into Test1 (BiHao,Name,Type,InsertTime) values"+"('{}','{}','{}','{}')".format(key,value,types,datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
            try:
                cursor.execute(sql_select)
            except Exception as e:
                print(e)
                connect.rollback()

        connect.commit()
        cursor.close()
        connect.close()

三、完整代码

#coding:utf-8
import requests
import re
import datetime
import pymssql 

class RenrenLogin(object):
    def __init__(self):
        self.url = 'https://tongji.baidu.com/web5/10000569924/trend/time?siteId=19477719'
        self.headers = {
            'Accept':'*/*',
            'Accept-Language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
            'Connection':'keep-alive',
            'Host':'tongji.baidu.com',
            'Referer':'https://tongji.baidu.com/main/overview/10000569924/trend/time?siteId=19477719',
            'Sec-Ch-Ua':'"Not/A)Brand";v="99", "Microsoft Edge";v="115", "Chromium";v="115"',
            'Sec-Ch-Ua-Mobile':'?0',
            'Sec-Ch-Ua-Platform':'"Windows"',
            'Sec-Fetch-Dest':'empty',
            'Sec-Fetch-Mode':'cors',
            'Sec-Fetch-Site':'same-origin',
            'Cookie':'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX',
            'User-Agent':'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX'
     }

    def get_html(self):
        html = requests.get(url=self.url,headers=self.headers).text
        self.parse1_html(html)
        self.parse2_html(html)

    def parse1_html(self,html):
        L1,L2,D1 = [],[],{}
        p = re.compile(r'"sourceList":(.*),"indexInfo"', re.MULTILINE)
        p1 = p.findall(html)
        s1 = p1[1].replace('{','').replace('}','').replace('[','').replace(']','').split(',')
        for i in range(len(s1)):
            if(s1[i].split(':')[0]=='"id"'):
                L1.append(s1[i].split(':')[1])
            elif (s1[i].split(':')[0]=='"label"'):
                L2.append((s1[i].split(':')[1].replace('"','').replace('"','')).encode('utf-8').decode('unicode_escape'))
            else:
                continue
        L3 = L1[3:len(L1)-1]
        L3.insert(0,'0')
        L4 = L2[3:len(L2)-1]
        for j in range(len(L4)):
            D1[L3[j]] = L4[j]
            
        self.parse3_sql(D1,"searchsource")

    def parse2_html(self,html):
        L1,L2,D1 = [],[],{}
        p = re.compile(r'"areaList":(.*),"visitorList"', re.MULTILINE)
        p1 = p.findall(html)
        s1 = p1[1].replace('{','').replace('}','').replace('[','').replace(']','').split(',')
        for i in range(len(s1)):
            if(s1[i].split(':')[0]=='"id"'):
                L1.append(s1[i].split(':')[1])
            elif (s1[i].split(':')[0]=='"label"'):
                L2.append((s1[i].split(':')[1].replace('"','').replace('"','')).encode('utf-8').decode('unicode_escape'))
            else:
                continue
        
        L3 = L1[3:len(L1)-1]
        L3.insert(0,'1')
        L4 = L2[3:len(L2)-1]
        for j in range(len(L4)):
            D1[L3[j]] = L4[j]
            
        self.parse3_sql(D1,"areaList")
        
    def parse3_sql(self,dic,types):
        connect = pymssql.connect(server='XXXX', user='XXXX', password='XXXX', database='XXXX')
        cursor = connect.cursor()
        for key,value in dic.items():#datetime.datetime.now()
            sql_select = " insert into Test1 (BiHao,Name,Type,InsertTime) values"+"('{}','{}','{}','{}')".format(key,value,types,datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
            try:
                cursor.execute(sql_select)
            except Exception as e:
                print(e)
                connect.rollback()

        connect.commit()
        cursor.close()
        connect.close()
        
if __name__ == '__main__':
    spider = RenrenLogin()
    spider.get_html()

总结：数据提取需要根据数据特定结构进行处理

nfkjdx
关注
实现网站统计之百度统计
qq_39579242的博客
07-12 2309
连接地址： https://tongji.baidu.com/web/welcome/login 注册自己的用户名和密码 我这里的是：   用户名：SHyunzhizhu 密码：温哥华没有感叹号 1.点击新增网站 2.获取代码，放在你要监控的页面；（将代码添加到网站全部页面的</head>标签前。） 3.根据步骤，检测代码是否安全成功；等待20分钟后可以查...
ACM / ICPC 在线OJ（Online judge）
git1314的博客
04-07 6665
1. codeforces codeforces(这个网站每天会有比赛，一起打CF吧！) http://codeforces.com/problemset 2. topcoder:http://www.topcoder.com/challenges/ 3. kattis 这个网站有历年的ICPC真题 https://open.kattis.com/ 4. 洛谷:...
百度统计测试
无限圆
09-10 970
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
百度统计
u012637258的博客
04-23 895
      百度统计是百度推出的一款专业网站流量分析工具，能够告诉您访客是如何找到并浏览您的网站，以及如何改善访客在您网站上的使用体验，帮助您让更多的访客成为客户，不断提升网站的投资回报率。<script>    var _hmt = _hmt || [];    (function() {        var hm = document.createElement("script"...
Error: the server returns a status code that matches the provided options for non existing urls. https://ids.tongji.edu.cn:8443/nidp/app/fd089986-b139-442b-891c-b27c9c0429ab => 200 (Length: 430). To continue please exclude the status code or the length
06-08
它表明在请求“https://ids.tongji.edu.cn:8443/nidp/app/fd089986-b139-442b-891c-b27c9c0429ab”时，你提供的选项与返回的状态代码匹配，但该URL不存在。如果你想继续，请排除状态代码或长度。
electron-baidu-tongji:(百度统计) baidu tongji for electron
05-01
electron-baidu-tongji Electron middleware: Preconditions See more Installation # yarn $ yarn add electron-baidu-tongji # or npm $ npm install electron-baidu-tongji -S API ebtMain(ipcMain, [is...
使用百度统计接口收集数据.zip
最新发布
01-03
在IT行业中，数据分析和用户行为追踪对于产品优化和业务决策至关重要。百度统计接口提供了一种高效的方法来收集网站或应用的数据，以便分析用户行为、跟踪关键指标并进行性能优化。本项目采用Go语言进行开发，这表明...
Python如何获得百度统计API的数据并发送邮件示例代码
01-20
在本文中，我们将探讨如何使用Python来获取百度统计API的数据，并结合邮件服务将这些数据发送出去。这是一个实用的工具，特别是在需要定期监控网站流量或分析数据时。 首先，要使用百度统计API，你需要一个有效的...
调用百度统计API工具
10-19
简单的调用百度统计的API的工具类，可解析返回数据为所需要的格式。
网站统计，百度
与道耳
12-25 360
在网站中做统计操作。 1、第一个问题，使用百度统计 当然你需要注册个账号 2、登录进去创建一个网站（你已经开发发布的网站） 3、还是看百度教程 代码如下的写法 <script> var _hmt = _hmt || []; (function () { var hm...
百度统计了解
qq_35563773的博客
04-19 485
1、关于怎么使用百度统计的问题 在百度统计的网站上注册一个账号，登录后点击【管理】的导航栏，在网站列表栏可以添加一个网站，然后就可以看到你要管理的网站，一个表格形式的网站列表。右边有一个操作栏，可以点击获取代码，把获取的代码添加到你的网站中，20分钟左右点击操作的代码检查，看到代码安装正确字样，就说明你的代码安装成功了，这就是基本的百度统计了。 2、子目录管理的设置 【管理】-【网站列表】-
百度统计 - 学习/实践
"代码"的日常搬运
01-02 4888
1. 应用场景 自定义网站统计分析数据.得到自己想要的结果 2. 学习/操作 步骤 如果您完全是新手，本文介绍了开始使用百度统计进行数据统计与分析的方法， 仅需简单的三步：1注册/登录账户->2新建站点、添加代码->3浏览报告。 更多见：https://tongji.baidu.com/web/help/articleList?type=0&a...
百度统计ajax,web网站统计工具之“百度统计”
weixin_29612723的博客
08-05 491
百度统计是什么？百度统计是百度推出的一款免费的专业网站流量分析工具，能够告诉用户访客是如何找到并浏览用户的网站，在网站上做了些什么，有了这些信息，可以帮助用户改善访客在用户的网站上的使用体验。百度统计有什么优势？提供了图形化报告，全程跟踪访客的行为路径。同时，百度统计集成百度推广数据，帮助用户及时了解百度推广效果并优化推广方案。目前百度统计提供的功能包括：趋势分析、来源分析、页面分析、访客分析、定...
百度网站统计分析
csdn5215的博客
02-09 4241
一、网站概况： 1、跳出率：只浏览了一个页面便离开了网站的访问次数占总的访问次数的百分比（入口页面有跳出率、访问页面是退出率）。 跳出率的统计意义： 统计跳出率的高低是网站分析的一个重要指标,通常用于评估网站的用户体验，可以用于指导网站以及页面的改善。跳出率越高就说明该网站对访问者的吸引力越低，当跳出率达到一定的程度时，就说明网站需要做些优化或者页面更新了。 2、平均访问时长...
百度官方工具：百度统计
从零开始学习python --zeropython
06-09 489
百度统计（tongji.baidu.com）进入，如果有百度账号直接进入无需注册。进入统计页面直接添加网站——获取验证文件代码——安装验证文件或验证代码——安装成功。 百度统计功能： 1、统计每天网站的访客ip、pv、uv、跳出率、页面停留时间 百度统计的实时访客记录网站从提交那一天开始每天的访...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值