qq_47729488的博客

原创 python自动生成数据内容存入MySQL

【代码】python自动生成数据内容存入MySQL。

原创 成都某公司笔试题sql

1.某公司需要将项目管理清单导入数据库，请建表，清单字段如下:项目编码，项目名称，项目开始时间，项目结束时间，周期(月)，项目金额，客户名称，客户地址，备注。) AS ‘人数’, gender AS ‘性别’ FROM ods.client WHERE end_date BETWEEN ‘2021-01-01’ AND ‘2022-02-01’ GROUP BY gender;– 5.请统计公司各个年龄段员工数量(年龄段为(20-30]岁，(30-40]岁，40岁以上不包含40岁)–

原创 异步爬取案例

python异步爬虫，解决await requests问题案例

原创 MySQL删除字段重复数据

delete fromtable_name where id not in(select t.minidfrom(selectmin(id) as minidfromtable_namegroup by字段名)t);当出现：Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To d

原创 MySQL更改字段，更新字段值

更改字段属性、字段名alter table table_name change column name1 name2 限制条件;eg:alter table person_table column name1 name2 Varchar(128) default '0';更新值：update table_name set 字段名=值 where 限制条件;

原创 python的字典写入json文件

废话不多说上代码import osimport jsonpath1 = 'data'dict1 = {'a':'a','b':'b','c':{},'d':[]}if not os.path.exists(path1): os.mkdir(path1)with open(path1+'/1.json','w') as f: josn.dump(dict1,f)

原创 TypeError: unsupported operand type(s) for +: ‘NoneType‘ and ‘str‘

def hanshu():无返回值a = hanshu()b = a + str者返回以上错误改：hanshu()内加返回值

原创 python递归算法 eg：阶乘

简单了解：递归有点像数学里的归纳方法按次计算python内计算通过栈进行计算eg：f(n)=n!=nx（n-1)…2x1先拿出1 最后拿出n代码：def f(n): if n==1: return 1 return n*f(n-1)if __name__=='__main__': f = f(5) print(f) 结果：120...

原创 python中 sorted 与sort的区别

sort：使用方法：L.sort(reverse=False) reverse 默认False升序reverse=True 降序使用后：L改变sorted：使用方法：sorted(L,reverse=False) 返回一个迭代对象 不改变L值例子：

原创 python 装饰器

原创 python 从一到10000的求和计算

原创 python is 与 ==的区别

is：eg：a=1b = 1a is b返回falsea==b返回trueis比较id ==比较数值可以用is来判断copy deepcopycopy后地址发生改变

原创 MySQL4.python增加数据

import pymysqlconn = pymysql.connect(host=‘localhost’,user=‘root’,password=‘123456’,port=3306,database=‘dbmovie_top250’,autocommit=False)cursor = conn.cursor()sql = “insert into t_top250 values(252,‘小飞侠2’,‘1999’,‘9.8’,‘251.png’,‘123331’,‘L’,‘F’);”curso

原创 MySQL3.python数据库增加字段

#链接数据库conn = pymysql.connect(host=‘localhost’,user=‘root’,password=‘123456’,database=‘dbmovie_top250’,port=3306,autocommit=False)#获取游标cursor = conn.cursor()#执行sqlsql = “select COLUMN_NAME from INFORMATION_SCHEMA.Columns where table_name=‘t_top250’ ;”

原创 MySQL2.python pymysql链接MySQL数据库

导入pymysql模块import pymysql#链接数据库conn = pymysql.connect(host=‘localhost’,user=‘root’,password=‘123456’,database=‘dbmovie_top250’,port=3306,autocommit=False)#获取游标cursor = conn.cursor()#执行sqlcursor.execute(‘select * from t_top250;’)result = cursor.fetc

原创 mysql1.联合查询

内链接```sqlselect 查询内容1，查询内容2from 查询表名inner join 链接表名on 查询条件左链接更改inner为left outer右链接更改为right outer

原创 算法题 python输出杨辉三角某一行

#def getYh(): #第m行定义为输入整型 m = int(input('please input a digital'))-1 n = 0 b = [1] while n<m: b = [1] + [b[i]+b[i+1] for i in range(len(b)-1)]+[1] n+=1 return b

原创 算法题 压缩字符串算法

题目利用字符重复出现的次数，实现字符串压缩功能。若“压缩”后的字符串没有变短，则返回原先的字符串。你可以假设字符串中只包含大小写英文字母（a至z）#练习 压缩字符串算法## 代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可### @param test_string string字符串 输入参数# @return string字符串#class Solution: def compressString(self , s ): # wr

原创 经典面试题 将输入的字符串转换为驼峰（camelCase）风格

题目详情def get_tf(s): #空字列表装载 list_s = [] #导入正则表达式 import re #分割非字母 非数字 splits = [item for item in re.split('[^a-zA-Z0-9]',s) if item!=''] #enumerate (key)index+value for i,item in enumerate(splits): #第后面字首字母大写

原创 python 求素数

pythonif else第一个代码块：if i%j==0：#说明i有能被整除（2，）的数所以跳出循环执行else：#else 为第二个条件语句的else：第二个代码块：定义了flag = 0 辅助条件判断结合一二代码块分析代码含义Java语言...

原创 headers 字符串代码转换为字典

实现过程：s4 = '''hdajg:gfafgaghfajhfajfwfgahfahfafga:hafhsgfjakfhwifafwufajskfwhhfajf:faffafhfafhesffu:fahfhfaahfwufaljwfaljhf:fgafgahahfajfwihsfahafahfhfa:hfaffgafjjfahfefhfehfhhfafia:affgafajfj'''list = filter(lambda x:len(x.strip())>0,s4.split('\

原创 python线程基本原理实现

线程理解：降低上下功能切换消耗提高系统并发性，共享进程资源代码实现import threading#导入线程包import time#定义功能def hi(num): print('hello%d'%num) time.sleep(3) print('zjixainchengending')if __name__=='__main__': t1 = threading.Thread(target=hi,args=(9,)) t1.start()

原创 爬虫爬取百度招聘的python信息------json

import requestsimport csvheaders = { 'user-agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Mobile Safari/537.36'}#i,purPage = str(i)来定量爬取for i in range(0,8):

原创 lsp篇批量爬取你喜欢的虎牙直播美女图片

1、目的高效爬取图片，联系基本的xpath，以及简单函数，文件存储等。2、逻辑实现运用requests 发起get请求url 得到response_html再解析数据data = etree.HTML(response_html.text)from lxml import etree再用xpath定位想要的地址匹配规则以虎牙直播为例按f12 点击元素选择器element选着图片获得图片位置，上图的img标签中的src data-original 属性为图片地址。gilrs = d

原创 selenium淘宝模拟登录4 建立IP池登录

由于本机IP对淘宝访问多次后出发了淘宝反爬机制跳出滑动验证码等等，所以建立一个IP池随机IP地址对淘宝模拟登录某网站免费IP58.209.53.172:62330106.110.91.240:20750114.234.167.236:20693180.124.87.81:20689222.187.164.36:20820113.123.119.218:5004549.82.252.21:20685121.224.106.53:12004119.126.157.59:55201222.1

原创 将csv文件储存进数据库知识积累加实践1---------储存对象以前爬取的豆瓣top250

1.MySQL与python、pymysqlpip install pymysqlimport pymysql#链接数据库conn = pymysql.connect(host=‘localhost’,user=‘root’,password=‘123456’,db=‘dbmovie_top250’)#host user password db#host 为端口 #user用户 #password密码#db数据库cursor = conn.cursor()#游标当我们开启了游标功能，再去执

原创 淘宝模拟登录3避开selenium检测以及爬取输入信息的第一页商品信息

1、Google浏览器模拟登录淘宝先下载chromedriver链接：https://pan.baidu.com/s/1YoUCxtmrWXKxcoO9wwZwNA提取码：ulg0配置chromedriver将该文件添加到python.exe chorme.exe 同目录下import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeO

原创 淘宝模拟登录2解决滑动验证问题

由于selenium被淘宝识别，然后跳出滑动验证问题。这里需要添加参数，让淘宝无法检测出selenium。开始以为是代理IP问题后来实验发现不是代理IP问题。对于xpath和其他人不一样着哩可能是浏览器的问题，开始用的火狐，后面还是感觉Google香。代码import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeOptionsoptions

原创 GitHub的使用

由于要在网上收集资料，很多朋友推荐GitHub，建议用VpN软件，需要的自己去找。哈哈哈

原创 模拟登录有道翻译

import time #时间模块from bs4 import BeautifulSoup #数据筛选 网页选择器from selenium import webdriver #测试框架from selenium.webdriver.support.ui import WebDriverWait #浏览器等待完成的包#爬虫流程 面向对象class youdao_Infos: #魔术方法 构造方法 def __init__(self): url = 'https:/

原创 爬虫模拟登录1 问题版

import time #时间模块from bs4 import BeautifulSoup #数据筛选 网页选择器from selenium import webdriver #测试框架from selenium.webdriver.support.ui import WebDriverWait #浏览器等待完成的包#爬虫流程 面向对象class Taobao_Infos: #魔术方法 构造方法 def __init__(self): url = 'https:/

原创 爬虫 有道翻译脚本

import urllibfrom urllib import requesturl = 'http://fanyi.youdao.com/translate?smartresult=dict,rule'header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0' }key = input('n:')formdata

原创 爬取武神主宰小说

1.找到想要得到的小说网站https://www.ddxstxt8.com/5_5034/在浏览器的输入框中输入https://www.ddyueshu.com/5_5034/得到网站2.分析网站按F12出现页面布局，找需要内容，source里发现，链接与章节标题3.观察第一章小说得出规律点击第一章链接进入，第一章网页，点击F12得到网页代码，观察信息，可以发现在sources中发现小说内容4.开始购建爬虫框架，从简单深入import reimport requests#头部伪装h

原创 豆瓣top250爬虫笔记

简言：学习了爬虫基础后对爬虫代码理解后进行编程。收获:对于数据类型的了解更加深入，学习了txt文件的存储以及读取摘要：python爬取豆瓣网内容然后进行数据分析编程导入模块import requestsimport re爬虫搭建start = 0result = []headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)

原创 豆瓣top250第一页爬取笔记及分析

简介：学习爬虫爬取豆瓣网第一页代码，以及心得分析1导入模块re#导入requests、re模块import requestsimport re2请求与响应，[headers作用](https://blog.csdn.net/u011031422/article/details/77156507?)#请求头headers = { 'Referer': 'https://img3.doubanio.com/dae/accounts/resources/d3e2921/movie/bu

原创 正则表达式笔记

1.常用元字符：.除了/n所有的字符，\w数字字母或下划线，用于邮箱，\s匹配任意的空白，\d匹配数字，^开始,$结束，\W除了数字字母或下划，上面类似，[]字符组，-什么到什么，2.量词：*重复0次或更多次，+一次或跟多次，?重复0此或1次，{n} n次，{n,m}n到m次，{n，}n到更多次3.贪婪匹配、惰性匹配.*.*?...