weixin_46400833的博客

原创 03-30 SQL-知识点补充记录

一 、union将两个SQL语句的查询 结果 链接并联，UNION 操作符用于合并两个或多个 SELECT 语句的结果集。注意UNION 内部的每个 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每个 SELECT 语句中的列的顺序必须相同。SQL UNION 语法SELECT column_name(s) FROM table1UNIONSELECT column_name(s) FROM table2;注释：UNION 操作符选取不同的值，自带去重

原创 pandas指定字段值筛选

一 单独的筛选某个字段 data.loc[data["xxx"]==("xxx")]二、统一个字段中选取多个值如下： 错误了好久，因为选取多个是 或 的关系，不是并且

原创 03-27 pandas删除bug --未解决

1、为什么drop删除不了？ del 可以data = data.drop([‘产品中文名’,‘SPU’], inplace=True)2、 TypeError: not all arguments converted during string formatting占位符和实际传参数不匹配3、pandas重命名列名1、df.rename(columns={‘two’:‘twotwo’},inplace=True)2、df.columns=[‘onon’,‘twtw’,‘thth’]4

原创 03 -26 python BUG之SQL脏数据

1、 takes 0 positional arguments but 1 was given（我遇到的场景下）汉语意思就是： 函数定义中没有参数，调用时传参数2、1142 - SELECT command denied to user 'liwenxiang'@'10.1.0.21' for table 'paypal_transaction'表没有 select权限3、为什么查询会多出来重复行而且还有看似的空格的空格？尝试修改1. distinct去重，group by去重，都不行

原创 03-23 pandas的无索引筛选（value.tolist()）

原创 03-23 pandas相关总结

一、格式设置 #设置列名与数据对齐 pd.set_option('display.unicode.ambiguous_as_wide', True) pd.set_option('display.unicode.east_asian_width', True) #显示所有列 pd.set_option('display.max_columns', None) #显示10行 pd.set_option('display.max_rows', 10) #设置显示宽度为1000,这样就

原创 03-19 pymysql.err.OperationalError: (2013, ‘Lost connection to MySQL server during query‘)

1、问题 bug： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query')SQL dialect is not configured.未配置SQL方言；The above exception was the direct cause of the following exception:上面的异常是以下异常的直接原因：参考文章： https://blog.csdn.net/am

原创 03-19 pycharm之SQL bug

pycharm中进行数据库查询时，SQL语句报错 SQL Dialect is Not Configured查询别人博客所得：没有配置数据改正方法：在File---->Setting—>Languages & Frameworks—>SQL Dialects中，选择对应的数据库，如MySQL，最后保存就ok...

原创 03-19 sqlalchemy模块的用法（大批量导入数据）

官网详情： https://docs.sqlalchemy.org/en/14/core/engines.html?highlight=create_engine#database-urls1、概念：SQLAlchemy是python的一个数据库ORM工具，提供了强大的对象模型间的转换，可以满足绝大多数数据库操作的需求，并且支持多种数据库引擎（sqlite，mysql，postgres, mongodb等）2、用法：from sqlalchemy import create_engine

原创 02-18 python bug（因python版本迭代出现的问题）

1、 sqlalchemy.exc.NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:mysql解决： pip install SQLAlchemy==1.2.132、 AttributeError: module 'time' has no attribute 'clock'在pycharm中加Python3.8环境，调用time.clock出异常：AttributeError module ‘time’ has no att

原创 03-17 mysql 安装记录+mysqldb模块pip安装记录

一、今天下载mysql安装包mysql-8.0.23-winx64-debug-test.zip后，解压、设置环境变量多次，可结果就是在dos环境下 mysqld不是命令或程序，以为环境变量设置有误，搞得我脑袋大，最后下载了安装包mysql-8.0.23-winx64.zip之后就很快顺利完成，不晓得这俩安装之间有什么区别。。。二、今天一个python脚本运行需要安装mysqldb，因为之前已经写好的脚本，直接用的（但是我的python是新版3.9），结果安装了多次，还查了各种博客，

原创 03-17 navicat链接数据库要点

1.SSH-链接远程服务器2.常规链接是链接服务器中的数据库3.连接数据库成功后需关闭clients，再次启动才会成功进入数据库。

原创 03-13 算法题---简单错误记录

1、题：开发一个简单错误记录功能小模块，能够记录出错的代码所在的文件名称和行号。处理：1、 记录最多8条错误记录，循环记录（或者说最后只输出最后出现的八条错误记录），对相同的错误记录（净文件名称和行号完全匹配）只记录一条，错误计数增加；2、 超过16个字符的文件名称，只记录文件的最后有效16个字符；3、 输入的文件可能带路径，记录文件名称不能带路径。解及注释：# error_dict = { ((filename, line): [number, temp]) }error_dict

原创 03-12 sorted()、复杂字典{}和 lambda 连用，if not的使用

1、wrong_dict={(filename.line):[number,rank]}list = sorted(wrong_dict.items(), key = lambda x: (-x[1][0], x[1][1]))[: 8] wrong_dict.items() --排序的对象 key=lambda 元素: 元素[字段索引] 排序的标准字段(-x[1][0], x[1][1]) 先以第一个元素排序，第一个相同时，再以第二个排序2、 python中

原创 03-12 01背包问题（动态规划）+字典的构造及元素增加

1、字典data={}data[1]=[2,3]data[1].append([3,4])data[2]=[[6,7]]data[2].append([2,3,4])print(data)返回：{1: [2, 3, [3, 4]], 2: [[6, 7], [2, 3, 4]]}2、题： 有五件商品重分别为：2,3,4,5,9； 每件的价值为3,4,5,8,10，现有能装20的包，问如何装商品使得保重商品价值最大？（第i件商品重量W[i],价值V[i]）解：① 构建价值动态数

原创 03-11 字符串和列表的对比

列表和字符串添加元素list.append(obj)+元素位置(下标) list.index(obj)string.find(obj) list1 = ['a', 'b', 'c', 'd', 'e', 'f', 'a', 'a', 's']string1 = 'abcdefaas' 元素a出现的次数 list1.count('a')string1.count('a',0,len(s)) 切片 list1[::2] 输出：['a', 'c', 'e',

原创 03-11 浮点数的存储+ round()

1、round(number,num_digits) Number 需要进行四舍五入的数字 Num_digits 指定的位数，按此位数进行四舍五入2、python存储浮点数时会异常（如 4.5 存为4.4999999）3、写程序取近似值a=float(input()+0.001)print(round(a))例如：a=input() #输入 8.5print(round(float(a)))print(round(float(a)+0.001))输入 8.5输出：89

原创 03-11 字符串匹配+质数因子

一、字符串匹配问题def string_match(string,sub_str): a=len(string) b=len(sub_str) for i in range(a+1): index=i #i表示主串中的起始下标，以及第几次匹配 for j in range(b): #j遍历的是子串的每一个元素 if string[index]==sub_str[j]:

原创 03-11 字典的多种构造方法

b = {'name':'Li', 'sex':'girl'}c = dict(zip(['name','sex'], ['Li','girl']))d = dict([('name','Li'), ('sex','girl')])e = dict({'name':'Li', 'sex':'girl'})a = dict(name='Li', sex='girl')print(a,'\n',b,'\n',c,'\n',d,'\n',e)返回值：{‘name’: ‘Li’, ‘sex.

原创 03- 10 面试题总结

面试总结：1.Python装饰器def func(func): a==100 print('wrapper加载前') def wrapper()： func() print(2323） print('wrapper加载后') return wrapper@funcdef house()2.Linux常用命令yum/opt 包管理工具cat 文件名|more 查看文件内容mkdir xxx 创建文件夹 + -p 表示3.Linux下主要目录有哪些

原创 03-10 python读取txt文本内容并统计没法词汇出现的频率

1、读取，统计，写入保存import jsondef read_txt(): data={} k=1 with open('./data.txt','r',encoding='utf-8') as fp: for line in fp.readlines(): line=line.split() for i in line: if i not in data:

原创 03-09 罗马数字转 整数

class Solution: def romanToInt(self,s): m=0 list=[] num=0 for i in s: if i=='I': list.append(1) if i=='V': list.append(5) if i=='X': li

原创 03-09 贪心算法-5

# 1、从输入的字符串中删除k个数字，是剩余数字组成的数最大/最小def delnum(s,k): if len(s)<k: return None s=list(s) flag=0 while k!=0: if flag==0: for i in range(len(s)-1): #剩余数最大/最小的话反之#删除规则有二：①删除第一个比右边大的数（最小的 删第一个比左边大的数

原创 03-08算法编程题 -4

1、 将十六进制数转换为十进制知识点补充：1、字符串可被遍历和切片s='0xada67'b=s.strip('0x')print(b)c=s.replace('0x','')print(c)d=c[::-1]print(d)返回：ada67ada6776adafor i ,j in enumerate(c): print(i+j) 返回： TypeError: unsupported operand type(s) for +: 'int' and 's

原创 03-07 编程算法题-2

2、链接：https://www.nowcoder.com/questionTerminal/67df1d7889cf4c529576383c2e647c48来源：牛客网开发一个简单错误记录功能小模块，能够记录出错的代码所在的文件名称和行号。处理:1.记录最多8条错误记录，对相同的错误记录(即文件名称和行号完全匹配)只记录一条，错误计数增加；(文件所在的目录不同，文件名和行号相同也要合并)2.超过16个字符的文件名称，只记录文件的最后有效16个字符；(如果文件名不同，而只是文件名的后16个字

原创 03-08 编程题（3）

1、编程题：有一个数组a[N]顺序存放0~N-1，要求每隔两个数删掉一个数，到末尾时循环至开头继续进行，求最后一个被删掉的数的原始下标位置。以8个数(N=7)为例:｛0，1，2，3，4，5，6，7｝，0->1->2(删除)->3->4->5(删除)->6->7->0(删除),如此循环直到最后一个数被删除。while True: try: N=int(input()) num=[x for x in range(

原创 03-08 set() 去重后的元素顺序-split() 分割-list() 细节问题

1、set() 去重后返回值s=input()print(s) #输入的是字符串print(s.split()) #输入字符串间没有分割符存在，分割也就没意义print(list(s))a=set(s)print(a)print(type(a))b=list(a)print(b)b.sort(key=s.index)print(b)#返回值如下：sdshfjdjkfnkdsdshfjdjkfnkd['sdshfjdjkfnkd']['s',

原创 03-07 算法题-1

1、链接：https://www.nowcoder.com/questionTerminal/3897c2bcc87943ed98d8e0b9e18c4666来源：牛客网输入包括多组测试数据。每组输入第一行是两个正整数N和M（0 < N <= 30000,0 < M < 5000）,分别代表学生的数目和操作的数目。学生ID编号从1编到N。第二行包含N个整数，代表这N个学生的初始成绩，其中第i个数代表ID为i的学生的成绩接下来又M行，每一行有一个字符C（只取‘Q’或‘U’）

原创 03-07 map函数-list()-split()详解

1、 源码及输出list=input() b=list.split(" ")print(b) #这里b已经是个lista=map(int,b) print(a) #map后返回的是个地址print(list(a)) #这一句报错12 34 56 67Traceback (most recent call last): File "D:/爬虫/chengdu/LianJia/练习.py", line 23, in &lt

原创 03-07编程题练习

1、 str.split() --返回值是一个list（数组），split() 参数是分割的依据a=input()print(a)print(type(a))b=a.split(' ')print(b)c=a.split("-")print(c)返回值123 4 5 6123 4 5 6<class 'str'>['123', '4', '5', '6']['123 4 5 6']2、输入包括多组测试数据。每组输入第一行是两个正整数N和M（0 < N &

原创 03-06 MongoDB 安装-BUG

1、整整折磨了我五个小时，查了十多篇博客，妈呀，浪费生命啊！！！！！！！1问题1： 安装最新版mongodb时（4.4-mis），因为我的系统是windows7，不支持，奔溃。注意：非最新版win7还是ok的。问题2：安装包安装时：因为安装了很久，导致心态着急，难以平复，没有仔细看报错内容，错误实际上是logs文件下的mongo.log应该是个文件，而不是文件夹，我一直以为是个我创建的配置文件mongo.conf有问题，系统读取不到......简直无语注： 压缩包解压后需要创建文

原创 03-04 算法学习2（决策树）

1、定义决策树是一种非参数的有监督学习方法，它能从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，已解决分类和回归问题。非参数- 不限制参数的结构和类型，适用于各种各样的数据。自我理解：决策树就是 一种分类方法，即如何将数据进行分类和回归的规则。但是如何依据数据总结出最合适的规则，又是需要研究的。2、决策树算法的核心是要解决两个问题：①如何从数据表中找出最佳节点和最佳分支②如何让决策树停止生产，防止过拟合3、sklearn中的决策树模块模块 skl

原创 03-04 SQL查询练习

1、用户信息表需查询返回下：注：该手机厂商想要分析应用中相机的活跃情况，需统计如下信息：某日活跃用户在后续一周内的留存情况（计算次日留存用户数，3日留存用户数，7日留存用户数）①某日活跃用户解析：某日- select 登陆时间用户数- count（用户id），又有用户一日启动登陆多次，需去重应用为 相机 -where 应用= ‘相机’又返回的0501 ~0510 ，以日期分组-group by= 登陆时间select 登陆时间，count( distinct 用户 id）from

原创 03-04算法学习- 1 （sklearn 和k-means）

1、数据发展之路：①、数据小白②、数据分析师③、数据挖掘工程师④、算法工程师⑤、数据科学家2、sklearn即scikit-learn，是一个开源的基于python语言的机器学习工具，它通过Numpy，scipy和Matplotlib等python数值计算的库实现高效的算法应用，并且涵盖了几乎所有主流的机器学习算法。（使用简单，但是源码内容复杂）有六大模块：分类，降维，回归，聚类，3、监督学习和无监督学习3-1 有监督学习：模型在训练的时候，即需要特征矩阵x，也需要真实标签y

原创 成都市二手房行情分析

一、数据爬取利用python爬取链家网成都市二手房信息，具体使用scrapy框架写爬虫程序爬取信息。1、spider文件（具体爬虫代码）import scrapyimport timeimport randomfrom LianJia.items import LianjiaItemclass LianJiaSpider(scrapy.Spider): name = 'LianJia' # allowed_domains = ['www.xxx.com'] # 起始

原创 03-02 成都二手房之爬虫部分

1、spider文件import scrapyimport timeimport randomfrom LianJia.items import LianjiaItemclass LianJiaSpider(scrapy.Spider): name = 'LianJia' # allowed_domains = ['www.xxx.com'] # 起始url # start_urls = ['https://cd.lianjia.com/ershoufang/p

原创 03-01（成都二手房项目）数据中筛选 每年的均价和挂牌量

1、2016年的数据筛选#2016年筛选data1=data.loc[(data['挂售时间']>='2016-09-06')&(data['挂售时间']<='2016-12-31')]#2017年筛选data2=data.loc[(data['挂售时间']>='2017-01-01')&(data['挂售时间']<='2017-12-31')]...

原创 03-01 pandas-行列索引排序反转

1、行反转：①data.reindex(index=data.index[::-1])② data.iloc[::-1]2、列反转data.iloc[:,::-1]

原创 03-31 pandas指定列元素索引

筛选出成都二手房中的 区域为彭州的 房源错误：案例1、 data[‘所在区域’==‘彭州’] 首先字符串不相等2、data.reindex(columns=[‘彭州’]) 列索引就没有彭州的3、data[ : , ‘所在区域’==‘彭州’]后边字符串不相等正确思路：1、首先选取所有data['所在区域'] == '彭州'2、data.loc[data['所在区域']==('彭州')]...