林胖胖哒-CSDN博客

原创 Python增删改查PyMongo库,以及$set 、$inc的区别实际测试

1.增删改查mongo数据库import pymongo# 连接client = pymongo.MongoClient(host='localhost', port=27017)# 指定数据库db = client['qzc_test_btc_db']# 指定集合名collection = db['btc_entity_info11']student1 = { 'id'...

2020-06-10 15:49:37 1786

原创 2021-08-29

数据模型:# coding:utf-8import pymysqlpymysql.install_as_MySQLdb()from sqlalchemy import create_engine, VARCHARfrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column, I...

2021-08-29 02:22:12 832

原创 lambda map filter reduce sorted

my_list = [3, 1, 5, 4, 10]# 元素全加1，结果：[4, 2, 6, 5, 11]list(map(lambda i:i+1, my_list)) # 过滤小于10的元素，结果：[3, 1, 5, 4]list(filter(lambda i:i<10, my_list)) # 元素累加，结果：33from functools import reducereduce(...

2021-08-26 22:01:13 281

原创 python 抛出异常的方法try except，raise、return、break、continue、exist（结束程序）的区别...

raise #该方法可直接结束两层循环，抛出异常；如果用break，则只会结束内层循环，然后继续下一次外层循环；如果用return，也是直接结束两层循环，该方法必须在函数中用；continue是不执行后面的程序，进入下一次循环。sys.exist(0,)表示直接退出程序try: for i in range(10): for j in range(10): ...

2021-07-29 17:47:09 2257

原创 python 画柱状图

参考:https://blog.csdn.net/u012328159/article/details/79240652# 画柱状图def draw_histogram(): plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False ...

2021-07-28 17:24:25 417

原创 FastAPI学习总结

1. 什么是FastAPI?FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架，使用 Python 3.6+ 并基于标准的 Python 类型提示,fastapi 是python最快的web框架。"""特性:1.快速,比肩go2.编码快速,开发快3.减少人为bug4.智能,自动补全, 减少调试时间5.设计易于学习,文档简单6.简短: 代码量小,bug...

2021-07-20 14:24:19 580

原创 Restful风格API中用put还是post做新增操作有什么区别？创建POST 修改 PUT

第一个问题，首先我们了解一下什么是幂等性1、幂等性：百度百科给的定义是：在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，“setTrue()”函数就是一个幂等函数,无论多次执行，其结果都是一样的更复杂的操作幂等保证是利...

2021-07-16 17:59:38 4396

原创 FastAPI框架学习

1. 什么是FastAPI?FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架，使用 Python 3.6+ 并基于标准的 Python 类型提示,fastapi 是python最快的web框架。"""特性:1.快速,比肩go2.编码快速,开发快3.减少人为bug4.智能,自动补全, 减少调试时间5.设计易于学习,文档简单6.简短: 代码量小,bug...

2021-07-16 17:56:10 865

原创 30个必会python技巧

直接交换2个数字的位置Python 提供了一种直观的方式在一行代码中赋值和交换(变量值)。如下所示：x, y = 10, 20print(x, y)x, y = y, xprint(x, y)#1 (10, 20)#2 (20, 10)在上面代码中，赋值的右侧形成了一个新元组，而左侧则立刻将该(未被引用的)元组解包到名称<a>和<b>。待赋值完成后，新元组就变成了未被引用状...

2021-02-01 12:33:55 204

原创 Python 将多个长度一致的列表合成字典

Python 将多个长度一致的列表合成字典date=['2017-01','2017-02','2017-03','2017-04']c7_list=[1,2,3,4]c8_list=['a','b','c','d']c9_list=['x','y','z','w']new_list=[]new_dict=[]mid=map(list,zip(date,c7_list,c8_lis...

2020-12-26 23:38:11 550

原创 mysql 建表语句

CREATE TABLE `tp_house_source_ali` (`house_id` BIGINT ( 20 ) NOT NULL COMMENT '房源id',`type_id1` TINYINT ( 1 ) NOT NULL DEFAULT '1',`title` VARCHAR ( 80 ) DEFAULT '' COMMENT '位置信息',`cover` VARCHAR ...

2020-12-26 23:37:23 5046

原创 python 上传图片到阿里OSS图片储存服务器

1.公司业务需求:将图片上传到oss,并且返回固定的图片路径:利用的uuid來保證不id重複：例如：/2020-11-05/1c62c18b-88d3-41d3-a6b1-d9046b8a4e94.jpghttp://oss.fapaifang.top/house/2020-11-12/4168e149-2983-42a0-be99-ee83e5bcfeca.jpg2.源码如下:# -*...

2020-11-26 11:05:46 1737

原创 python 利用高德地图定位小区名字

1.利用地址定位到小区名字这里调研的是利用高德的poi检索开发文档地址:https://lbs.amap.com/api/webservice/guide/api/search需要申请开放平台的账号,新建应用:复制 key;因为调用高德api接口时候要作为参数,注意types 参数的类型,这里是住宅区,2.源码如下:# -*- coding: utf-8 ...

2020-11-26 10:53:24 2443 3

原创 selenium 报错: selenium.common.exceptions.WebDriverException: Message: unknown error: net::ERR_PROX......

今天在用selenium.WebDriver 的時候，添加ip代理報錯如上：经尝试:解决:将原来代码中WebDriver的options.add_argument(f"--proxy-server=https://{proxy_ip}")中的https:// 删除或者改成http:// 即可ip代理成功# ip代理proxy_ip=ip_queue_redis()options.ad...

2020-11-25 16:18:05 8438 3

原创 python 爬取贝壳的一些思路和方法设计(用地址找到小区名字)

1.查mysql 获取 title 或者 address2.用title或者address参数,request.get方法查百度地图的地址api:http://api.map.baidu.com/place/v2/search?query=成都市青羊区青羊上街336号2栋2单元21楼2102号房屋及室内装修&tag=房地产&region=成都&o...

2020-11-25 10:42:37 915

原创 Python的一些小技巧

1.將list的元素全部拼接成一个字符串:" ".jion(list1)2.合并字典dict1={'map_url': '/cd/map/pos/?pos=104.034902,30.656634&from=xiaoqu', 'point_lat': 30.656634, 'point_lng'...

2020-11-24 17:39:18 125

原创 git pull 的时候只有一个 MD 文件的解决

原因就是没有切换到开发分支!!git branch -a 查看当前分支的名称git checkout 分支名称git checkout -b 新建分支git pull 下拉项目

2020-11-24 09:44:29 939

原创 python的单例模式连接mongo数据库

数据库的增删改查都先要链接数据库,不然到处都在链接数据库,很烂费资源和性能,今天就把mongo的连接池的单例模式封装了一下,希望大家多多指教:# -*- coding: utf-8 -*-""" @Time : 2020/11/23 16:36 @Athor : LinXiao @功能 :"""import osimport sysfrom pymongo imp...

2020-11-23 17:31:24 713

原创终于有人把Elasticsearch原理讲透了！

终于有人把Elasticsearch原理讲透了！小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。image但是由于小史很久没有背过诗词了，飞一个字很难...

2020-11-19 14:37:51 364

原创 python 修改字典的key

python 修改字典的keydict={'a':1, 'b':2} dict["c"] = dict.pop("a")print(dict)

2020-11-19 14:27:46 842

原创 pymongo + redis 实现 "_id" 的自增

由于mongo 没有像mysql 一样的自增字段来最为主键id,这里利用redis hash里的 hincrby 方法实现,mongo的"_id" 能够像mysql一样用正整数唯一且自增:1.redis 的连接池# 连接池# 把他做成单例，写在一个文件里面，import它import redisimport osimport syscurPath=os.path.abspath(o...

2020-11-18 15:25:43 330

原创 Python 子类继承父类构造函数说明

Python 子类继承父类的两种写法:如果在子类中需要父类的构造方法就需要显式地调用父类的构造方法，或者不重写父类的构造方法。子类不重写 init，实例化子类时，会自动调用父类定义的 init。情况一：子类需要自动调用父类的方法：子类不重写init()方法，实例化子类后，会自动调用父类的init()的方法。情况二：子类不需要自动调用父类的方法：子类重写init()方法，实例...

2020-11-18 14:55:52 450

原创 Python 汉字转url 参数

主要是利用Python 的from urllib.request import quote,unquote 这个包,网上其他的写法好像已经过时了:这是我宁外一种写法,但是后面用不起了,from urllib.request import quote,unquoteX = '角色扮演'print(X)Y =quote(X)print(Y)Z = unquote(Y...

2020-11-16 11:04:56 1772 7

原创 python 报错: Could not fetch URL https://pypi.org/simple/requests/: There was a problem confirming......

本地requests 请求报错,连在terminal 中下载 pip install requests 也报错:Could not fetch URL https://pypi.org/simple/requests/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.o...

2020-11-16 10:19:16 1722 1

原创爬虫时报错“SSL: CERTIFICATE_VERIFY_FAILED” and " InsecureRequestWarning" 解决方法

使用pip安装第三方库时报CERTIFICATE_VERIFY_FAILED证书错误问题出现此类问题是因为被国内防护墙所限制，修改镜像源即可解决：如果使用 pip install xxxx -i http://pypi.douban.com/simple/ 无法下载还是出错的话使用下面的一个例如：pip install requests -i http://pypi.doub...

2020-11-13 09:53:08 390

原创 PyCharm配置 Git 教程

【PyCharm】配置 Git 教程我用的是pychrm的2019.1.2 专业版,今天再给大家介绍一下在 PyCharm 中使用 Git。1打开 File -> Settings -> Version Control -> Git，在 Path to Git executable 处选择 git 的安装位置。找到本地安装git的 git.exe 的路径...

2020-11-13 09:35:14 575

原创 Git 提交的时候,自动生成 .gitignore 文件,避免git push的时候传一些不必要的文件到gitlab...

1.0. Git忽略规则：在git中如果想忽略掉某个文件，不让这个文件提交到版本库中，可以使用修改根目录中 .gitignore 文件的方法(如果没有这个文件，则需自己手工建立此文件)。这个文件每一行保存了一个匹配的规则例如：1.1. 此为注释 – 将被 Git 忽略*.sample 　　 # 忽略所有 .sample 结尾的文件!lib.sample 　　 # 但 lib.sample ...

2020-11-12 09:41:58 1020

原创 wsl 安装和 wsl 在本地的文件路径

The Windows Subsystem for Linux optional component is not enabled. Please enable it and try again.1. 前言我们在 Windows10 下安装子系统经常出现标题中的错误。在这里插入图片描述我们来看看解决办法2. 开启子系统支持控制面板–》程序与功能–》启动或关闭Windows功能勾...

2020-11-11 12:52:12 4483

原创 windows双系统--WSL 安装使用

WSL 介绍作为一名程序员很多时候需要Linux环境,但是由于PS等某些工具,也不能抛弃Windows,需要双系统来回切换很是麻烦,用虚拟机又担心性能损耗,但是这么久也是将就着过来了,直到知道了WSL.这篇文章介绍了安装WSL中的一些坑,希望将来的人能少走一些弯路(教程足够详细萌新都能看懂的那种).WSL(Windows Subsystem for Linux) 适用于Linux的Wind...

2020-11-11 12:51:58 926

原创在使用pipreqs检查python项目依赖时遇到的问题

先安装pip install pipreqs首先执行pipreqs --use-local ./报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence需要上--encoding=utf8 如下pipreqs --use-local --enco...

2020-11-06 16:28:17 3054

原创 MYSQL- 数据库登不上报错：ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: N......

报错:数据库登不上报错：ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)...或者mysql ERROR 1045 (28000): Access denied for user 'root1'@'localhost' (using..#1.停止mysql数...

2020-11-03 11:32:40 411

原创删除Redis服务重新安装

删除Redis服务重新安装一、删除Redis服务以管理员身份运行cmd执行命令：sc delete [服务名]sc delete Redis第一次执行是一直没有打印提醒，于是有了一下第二次执行命令，显示Redis服务已被删除如果提示删除成功后services.msc服务窗口还存在Redis的话，不要慌，把服务窗口关闭，重新开窗口就会发现Redis已经消失，如下：im...

2020-11-03 10:46:35 3461

原创 Chrome断点JS寻找淘宝签名sign

学习自:https://blog.csdn.net/weixin_36842174/article/details/91359169Chrome断点JS寻找淘宝签名sign_m_h5_tk_enchttps://cloud.tencent.com/developer/article/1379830sign生成公式是：d.token + "&" + i + "&" + g ...

2020-10-31 02:34:24 1817

原创 mitmproxy 代理设置selenium可以绕过淘宝检测机制

1遇到了获取cookies这个重要的问题，而获取cookies的前提是实现用户登录，登陆的过程就不赘述了，相信大家都遇到了滑块，滚动条等反爬手段，(本人用webdriver破解)，可大厂的技术团队还是给了我们一个更难解决的问题，就是通过js给webdriver请求响应错误信息。那我们的思考路线就是如何让这个js文件功能作废，本人使用的方法是通过 mitmproxy 蔽掉识别 webdriver 标...

2020-10-30 22:03:31 2036

原创 get_all_url

# -*- coding: utf-8 -*-""" @Time : 2020/10/29 13:47 @Athor : LinXiao @功能 :"""# ------------------------------# 获取每个城市的总页数import ioimport sysimport timefrom pprint import pprintimpo...

2020-10-29 17:52:09 191

原创 python爬虫通过图片原始url请求图片然后上传到oss中并返回图片新的url

简单上传提供上传字符串、上传Bytes、上传Unicode、上传网络流以及上传本地文件五种形式。通过bucket.put_object方法上传文件。上传方法支持多种类型的输入源，输入源有如下几种类型：类型上传方式字符串直接上传Bytes直接上传Unicode自动转换为UTF-8编码的Bytes进行上传本地文件文件对象（File Object），必须以...

2020-10-29 10:46:28 2757

原创 python 连接mysql 建表建库实例

NULL 为空 ,DEFAULT 默认值# -*- coding: utf-8 -*-""" @Time : 2020/10/28 10:16 @Athor : LinXiao @功能 :"""# ------------------------------import pymysqlfrom dbutils.pooled_db import PooledDB...

2020-10-28 11:39:51 318

原创 python 13位时间戳转为10位时间戳

import datetime,timevar = 1458365220000print(var)str_time = datetime.datetime.fromtimestamp(var / 1000)# temp = datetime.datetime.fromtimestamp(var / 1000).strftime("%Y-%m-%d %H:%M:%S")print (str...

2020-10-27 10:20:59 1585

原创爬虫中# Cookies的处理

Cookies的处理作用保存客户端的相关状态在爬虫中如果遇到了cookie的反爬如何处理?手动处理在抓包工具中捕获cookie,将其封装在headers中应用场景:cookie没有有效时长且不是动态变化自动处理使用session机制使用场景:动态变化的cookiesession对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求...

2020-10-25 02:43:12 932

原创执行python + selenium 代码报错ERROR:directory_reader_win.cc(43)] FindFirstFile: 系统找不到指定的路径...

路径不对导致FileNotFoundError: [WinError 2] 系统找不到指定的文件，问题解决办法ERROR:directory_reader_win.cc(43)] FindFirstFile: 系统找不到指定的路径执行python + selenium 代码<pre style="margin: 0px; padding: 0px; overflow-wrap: b...

2020-10-25 02:42:11 12069 4

空空如也

空空如也