蒙强的博客

Python操作Mysql数据库No.1#!/usr/bin/python# -*- coding: utf-8 -*-import pymysqlclass Mysql: # 定义基本属性 __host = '' __user = '' __password = '...

                                                 Python语法笔记No.2#!/usr/bin/python：说明要用/usr/bin/python这个解释器，来解释python脚本。 # -*- coding: UTF-8 -*-  ：字符集设置。 属性设置：_xx 相当于protected，__xx相当于 private，xx 相当于...

Python使用WebSocket实例No.3一、操作流程将短链接https://m.tb.cn/h.eYMUIzZ?sm=666ff，通过浏览器自动转换成长链接获取url里的id。 创建一个WebSocket服务端简称S，两个WebSocke客户端简称A、B。 A负责获取短链接，推送给S（保持长连接） S将监听到的数据推送给B。 B模拟浏览器，并且将...

                     Python将数据库的数据导入到excle中# -*- coding: utf-8 -*-import xlwtimport pymysqlclass Mysql: # 定义基本属性 __host = '' # 私有属性 _user = '' # 受保护属性 __password = '' datab...

Python各种数据结构的循环# -*- coding: utf-8 -*-#列表：可以对元素增删改查# list1 = ['Google', 'Runoob', 1997, 2000];# list2 = [1, 2, 3, 4, 5, 6, 7];# list1[0]='百度'# print("list1[0]: ", lis...

Python requests模拟登陆(包含验证码)的网站一、爬虫思路爬虫就是把用户能在网页看到的数据,以代码的形式抓取到文档里面,其实爬虫最主要的就是分析网站,想要得到网站的数据需要具备什么条件,说白了就是代码层操作的步骤得和用户在网页所操作的流程一模一样就ok了。二、requests模拟登陆import requestsimport json#请...

Python爬取网页表格数据并写入Excelimport requestsfrom bs4 import BeautifulSoupimport xlwt#请求headers 模拟谷歌浏览器访问headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Apple......

Python爬虫设计思路一、爬虫架构爬虫调度端：一般指的入口函数，发起动作的入口。 URL管理器：存放待爬取网站的URL和已爬取过的URL的功能（python内存、关系数据库、缓存数据库）。 网页下载器：进行页面爬取的功能（Requests、urllib2）。 网页解析器：对爬取下来的数据进行清洗（Beautifu...

Python爬虫实例 SpiderMain（调度器） # -*- coding: utf-8 -*-import url_manager, html_downloader, html_parser, html_outputerclass SpiderMain(object): # 初始化各个模...