python
sky__mountain
这个作者很懒,什么都没留下…
展开
-
python关于with语句的使用
刷面经的时候发现python中with语句的问题挺常见的。于是简单总结一下。像我这种小白多用于文件的打开和读写,比较方便,不用关闭文件。with open('路径.后缀', 'r') as f: print(f.read())今天研究了下发现with语句并不简单。要使用 with 语句,首先要明白上下文管理器这一概念。有了上下文管理器,with 语句才能工作。下面是一组与上下文...转载 2020-03-08 20:43:30 · 126 阅读 · 0 评论 -
python对数据库的简单操作
python连接数据库:import MySQLdbDATABASE = {'HOST' : '127.0.0.1','DATABASE' : '数据库名字','user' : 'root','password' : 'mima','charset' : 'utf8mb4'}db=MySQLdb.connect(host='localhost',user='root',pa...原创 2020-02-19 23:42:57 · 118 阅读 · 0 评论 -
selenium里使用webdriver
配置环境:1.下载selenium模块2.下载对应浏览器版本的驱动ChromeDriver: http://npm.taobao.org/mirrors/chromedriver/3.对下载的驱动路径添加进系统的环境变量里浏览器有界面运行:#!/usr/bin/env python3from selenium import werdriverimport timedrive...原创 2020-02-29 17:18:17 · 405 阅读 · 0 评论 -
Python爬虫requests库和Scrapy库的对比
两者相同点:两者都可以进行页面请求和爬取,Python爬虫的两个重要技术路线。两者都没有处理js,提交表单,应对验证码等功能,但是可以扩展。两者不同点:小的项目推荐选择requests 或者urllib比较简单灵活。规模比较大的推荐使用Scrapy结构更加清晰。...原创 2020-02-26 21:23:02 · 1140 阅读 · 0 评论 -
Do you need to install a parser library?解决办法
lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。XML 指可扩展标记语言(eXtensible Markup Language)。XML 被设计用来传输和存储数据。方法一:安装lxml 在cmd中输入pip3 install lxml方法二:换一种解析方式将soup = BeautifulSoup(r.text, ‘lxml’)...原创 2020-02-23 16:08:06 · 8536 阅读 · 3 评论 -
post请求爬取有道翻译
关于urllib.request.Request和urllib.request.urlopen的区别:urllib.request.urlopen()来说urllib.request.Request是进一步的包装请求。如果简单的访问一个网页可以直接使用urllib.request.urlopen。如果要进行header,data的自定义,则要使用urllib.request.Request...原创 2020-02-22 18:33:39 · 537 阅读 · 1 评论 -
关于爬虫访问页面异常的获取
关于爬虫访问页面异常的获取:httperror 和 urlerror的区别:前者是后者的一个子类,所以在捕获异常是要把httperror写在yrlerror的前面。附加一个常见的http状态码及其对应状态:https://blog.csdn.net/qq_40806970/article/details/100532946?ops_request_misc=%7B%22request%5...原创 2020-02-22 18:28:33 · 2059 阅读 · 0 评论 -
python2 3访问MySQL
Python2和3访问MySQL使用的模块不同,2使用MySQLdb模块,而3使用pymysql模块,其他相差不大。Python3连接MySQL数据库代码:import pymysql# 创建一个连接对象con = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='1234', db='mysql')# ...原创 2020-02-19 23:37:45 · 113 阅读 · 0 评论