Python3网络爬虫开发实战
weixin_37659322
不断学习,不断进步
展开
-
Ajax分析方法
理解和弄懂Ajax# -*- coding: utf-8 -*-# @Time : 2022/1/1 21:22# @Author :liuw# @File : Ajax.py# @Software: PyCharm'''request获取的是原始的html文档,浏览器中的页面是经过JS处理数据后生成的结果数据来源有许多种,可能是通过ajax加载的,可能是包含在html文档中,可能是经过JS和特定算法计算后生成的Ajax--Asynchronous JavaScript and xml,即原创 2022-01-03 16:10:05 · 132 阅读 · 0 评论 -
关系型数据库存储mysql
pymysql# -*- coding: utf-8 -*-# @Time : 2021/12/26 21:35# @Author :liuw# @File : mysql.py# @Software: PyCharm#关系型数据库 mysqlimport pymysqlprint(pymysql.VERSION)# db = pymysql.connect(host='localhost',user='root',password='admin456_LW!',port=3306)#原创 2022-01-01 20:15:37 · 779 阅读 · 0 评论 -
【解析库pyquery】
# -*- coding: utf-8 -*-# @Time : 2021/12/26 15:42# @Author :liuw# @File : pyquerytest.py# @Software: PyCharm'''今日下雨 冬日的冷雨淅淅沥沥,视乎离年关越来越近了一个人没有朋友,也不需要其他人的帮助'''import requestsfrom pyquery import PyQuery as pqdoc = pq(url='https://cuiqingcai.com')原创 2021-12-26 21:12:03 · 264 阅读 · 0 评论 -
解析工具BeautifulSoup
BeautifulSoup借助网页的结构和属性等特性来解析网页# -*- coding: utf-8 -*-# @Time : 2021/9/17 21:46# @Author :liuw# @File : beautifulsoup.py# @Software: PyCharm#学习靓汤 是python的一个html 或xml的解析库 使用其可以方便地从网页爬取数据 无需使用复杂的正则表达式# 节点选择器import rehtml = """<html><hea原创 2021-12-26 21:10:09 · 266 阅读 · 0 评论 -
HTTP基本原理
重新理解下概念,HTTP基本原理2.1.1URI 的全称为 Uniform Resource Identifier,即统一资源标志符,URL 的全称为 Universal Resource Locator,即统一资源定位符.URL 是 URI 的子集,也就是说每个 URL 都是 URI,但不是每个 URI 都是 URL。那么,怎样的 URI 不是 URL 呢?URI 还包括一个子类叫作 URN,它的全称为 Universal Resource Name,即统一资源名称URL 是 URI 的子集,也就是说原创 2021-12-12 11:33:25 · 1524 阅读 · 0 评论 -
【爬取豆瓣Top500电影信息】
爬取豆瓣Top500电影信息原创 2021-12-12 10:05:54 · 461 阅读 · 0 评论 -
python保存数据到JSON
JSON文件存储了解如何利用python保存数据到JSON文件# -*- coding: utf-8 -*-# @Time : 2021/9/21 20:46# @Author :liuw# @File : json_demo.py# @Software:import json'''在javascript 语言中,一切都是对象,对象和数组是比较特殊而且常用的类型对象:{key1:value1,key2:value2}数组结构为["java","javascript"]'''st原创 2021-09-21 21:53:19 · 235 阅读 · 0 评论 -
python读取和写入csv
CSV文件存储本节讲解python读取和写入csv文件的过程# -*- coding: utf-8 -*-# @Time : 2021/9/21 21:15# @Author :liuw# @File : csv_demo.py# @Software: PyCharmimport csvwith open('data.csv','w') as csvfile: writer =csv.writer(csvfile) writer.writerow(['id','name','原创 2021-09-21 21:50:21 · 41 阅读 · 0 评论