数仓分析
ShopXO免费开源商城系统、国内领先企业级B2C免费开源电商系统,包含PC、h5、微信小程序、支付宝小程序、百度小程序、头条&抖音小程序、QQ小程序、APP、多商户,遵循MIT开源协议发布、基于 ThinkPHP5.1框架研发
1.开启服务
Apache HTTP服务器是世界上使用最广泛的Web服务器。 它提供了许多强大的功能,包括动态加载模块,强大的媒体支持,以及与其他流行软件的广泛集成。
- 启动Apache2、mysql服务,查看Web服务器。
- 开启服务,使用
sudo
命令,密码为qingjiao
。
sudo service mysql start
sudo service apache2 status
在浏览器地址栏中输入localhost
出现ShopXO商城页面
2.requests库
requests是python实现的简单易用的HTTP库,安装request库:
pip install requests
import requests
response = requests.get('URL') # 请求目标网站
print(response.status_code) # 打印状态码
print(response.url) # 打印请求url
print(response.headers) # 打印头信息
print(response.cookies) # 打印cookie信息
print(response.text) # 以文本形式打印网页源码
print(response.content) # 以字节流形式打印
1.状态码.status_code
获取的信息包括状态码,状态码会展示请求状态(服务器状态)。用于判断URL是否合法。
200:请求成功,返回请求数据
在代码中使用这些信息来做判断
if response.status_code == 200:
print(success!)
elif response.status_code == 404:
print(Not Found.)
2.响应内容
GET请求的响应通常在消息体中具有一些有价值的信息,称为有效负载。
.content:以字节方式查看响应内容
.text:文本形式(字符串)
import requests
reponse = requests.get ('url')
print (reponse.text)
python3 / homelqingjiao/python/ code.py >> text.txt #重定向
3.认识xpath.
跟re、bs4一样,xpath也可以进行页面数据提取。xpath是根据元素的路径来查找页面元素。
前提︰安装lxml包
lxml是一款高性能的Python HTML/XML解析器,利用XPath,可以快速的定位特定元素以及获取节点信息。
4.URL限定条件
最大id: max_tid = ?
url满足条件如下:
#判断url是否合法,是否可连通,HTTP状态码是否为200
def get_url_content (url):
response = requests.get (url)if response.status_code == 200:
if "资源不存在或已被删除" in response.text:
return False
else:
#如果可以连通返回网页源码
html = etree.HTML(response.text)
return html
else:
return False