Python
IC全硅养成记
这个作者很懒,什么都没留下…
展开
-
Pyspark报错:Total size of serialized results is bigger than spark.driver.maxResultsSize
问题如题原因spark.dirver.maxResultSize参数默认为1024兆,所以会有限制解决方法在python脚本最上面添加如下配置即可from pyspark.sql import SparkSessionspark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .config("spark.memory.fraction", 0.8) \ .con原创 2021-06-18 10:03:20 · 1121 阅读 · 0 评论 -
pandas把dataframe平均分割成多份
场景这个需求感觉比较常见,例如我想对一个比较大的df做多线程,把处理时间从23小时降为1小时,需要把这个dataframe平均分割成20份喂到每个线程中,但在网上搜索了下没有找到合适的代码,故记录下来。输入输出都比较明确,所以直接贴代码吧import mathimport pandas as pddef cut_df(file_name, n): df = pd.read_csv(file_name) df_num = len(df) every_epoch_num =原创 2021-06-11 11:09:49 · 6072 阅读 · 8 评论 -
解决问题:pycharm中SSH报错failed:<br/>Authentication failure
Pycharm使用SSH远程连接服务器报错如下:解决方法先在工具-部署中配置一下服务器信息,再在设置的解释器中就能直接找到了,不会再出现连接失败的问题,步骤如下:原创 2021-04-07 17:16:06 · 4580 阅读 · 0 评论 -
sklearn模型支持输入list吗?
先说答案是可以的,sklearn是会将输入的list格式数据在输入到模型之前自动转换为ndarray格式的,以下是代码验证,首先看正常ndarray格式输入然后我们将X与y都转换成list看是否可以输入到模型结果是:没有报错,所以是支持的...原创 2021-03-26 10:14:52 · 610 阅读 · 0 评论 -
已解决 selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element 找不到元素的问题
场景使用selenium的find_element_by_xpath()函数报错:selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element原因感觉是一种新的反爬虫机制,比较简单,就是让页面晚了一点点刷新出来,所以我们的小蜘蛛查不到这个元素解决方法把之前的代码改成from selenium.webdriver.support import expected_conditions as原创 2020-12-27 16:07:56 · 8437 阅读 · 1 评论 -
用的最多的正则表达式
urlresult = re.match('[a-zA-z]+://[^\s]*', content)通用匹配result = re.match('.*', content)原创 2020-12-14 12:15:15 · 166 阅读 · 0 评论 -
pandas AttributeError: ‘Styler‘ object has no attribute ‘style‘解决方法
问题:使用pandas更改格式遇到AttributeError: ‘Styler’ object has no attribute ‘style’原因:使用一次.style.applymap()或者style.apply()函数后DataFrame对象就变成了Styler对象了解决方法:把两次使用合在一起之前的错误代码:data_df = data_df.style.applymap(low_buy_price_red, subset=['离买点的百分点'])data_df = data_df原创 2020-12-07 10:55:00 · 7627 阅读 · 3 评论 -
python逐行读取与逐行写入txt文件
逐行读取f = open("test.txt","r") lines = f.readlines() #读取全部内容 ,并以列表方式返回 for line in lines print line 逐行写入# -*-coding:utf8-*-# encoding:utf-8name_list = [1, 2, 3]for i in tqdm(name_list): f = open('D:/project/tm_caption/file_names.tx原创 2020-10-23 21:48:09 · 19803 阅读 · 0 评论 -
pycharm关闭git
settingsversion control右边的git,点击一下,改为none即可原创 2020-10-14 20:33:37 · 8938 阅读 · 8 评论 -
keras报错ValueError: No data provided for XXX
这说明你输入到模型中的数据命名和你训练的时候不一致,去你数据生成器的__getitem__最下面看看,改一下就好了例如:原创 2020-10-13 06:54:17 · 1433 阅读 · 0 评论 -
Pycharm更改快速规整代码快捷键
进入设置点击左上角File ->settings点击Keymap进行搜索format更改即可,我是改成了Alt + l原创 2020-09-06 10:12:06 · 548 阅读 · 0 评论 -
python replace函数后面的数字的含义
replace函数的语法:str.replace(old, new[, max])最后一个数字max代表替换多少个,例如如果指定max为1的话,那就只替换一个字符串里的第一个字符,第二个字符不替换原创 2020-08-20 17:36:54 · 886 阅读 · 0 评论 -
Python中//符号是什么意思?
Python中的//是向下取整的意思a//b,应该是对除以b的结果向负无穷方向取整后的数举例:5//2=2(2.5向负无穷方向取整为2),同时-5//2=-3(-2.5向负无穷方向取整为-3)原创 2020-08-09 13:06:57 · 76843 阅读 · 1 评论 -
Python concurrent.futures并发编程加速初体验
from concurrent.futures.process import ProcessPoolExecutorfrom time import timedef gcd(pair): a, b = pair low = min(a, b) for i in range(low, 0, -1): if a % i == 0 and b % i == 0: return iif __name__ == '__main__':原创 2020-08-03 11:15:38 · 256 阅读 · 0 评论 -
python 列表(list)去掉末尾的0或其他某个字符
感觉这个需求真的很常见,找了谷歌百度一圈都没找到有解决方案,自己写了一个,然后优化了一下,要去掉其他的重复值直接把0那个地方改一下就行了 # 去末尾的0 list_1 = [1, 3, 2, 0, 23, 0, 0, 0, 0] n_0 = 0 for k in list_1 [::-1]: if k == 0: n_0 += 1 else: break list_1 = list_1 [原创 2020-07-23 17:25:21 · 5637 阅读 · 0 评论 -
python 把中文句子分割成一个一个的字(英文适用)
cn = [one for one in '习惯性综合征']print(cn)en = [char for char in 'I am very handsome']print(en)原创 2020-07-16 10:01:39 · 7297 阅读 · 3 评论 -
pandas最常用的几个功能,随时翻阅就差不多弄懂了pandas的75%左右
这个是给自己看的,一直在更新,一开始可能内容不太多。。。原创 2020-07-14 16:45:51 · 267 阅读 · 0 评论 -
NameError: name ‘__file__‘ is not defined的问题原因及解决方法
问题原因不能在jupyter(或者其他交互式)中这样写解决方法把代码转移到pycharm或者直接python xxx.py运行就可以了原创 2020-07-07 10:03:45 · 7974 阅读 · 3 评论 -
jieba分词 ‘float‘ object has no attribute ‘decode‘ 解决方法
分词的时候碰到float类型了,将你要分词的内容强转成str一下就行之前的代码:a = len(list(jieba.cut(train_fea[0], cut_all=False)))之后的代码:a = len(list(jieba.cut(str(train_fea[0]), cut_all=False)))原创 2020-07-03 16:10:31 · 2671 阅读 · 0 评论 -
一张图看清自然语言处理脉络
原创 2020-05-13 20:37:15 · 280 阅读 · 0 评论 -
一分钟教你在PyTorch跑模型的时候提取中间层查看图片
首先导入需要的库import torchimport torch.nn as nn # 网络库import torch.nn.functional as Fimport torch.optim as optim # 优化器import pandas as pd # 数据处理import torchvisionimport torchvision.transforms as ...原创 2020-05-07 09:47:45 · 1341 阅读 · 9 评论 -
三分钟完全了解PyTorch中卷积层内部计算方法和权值初始值的来历,让你对模型有更深层次的理解
首先先说明第一个答案,也就是PyTorch中卷积层的计算方法,其实这点很多人可能在书上已经看过图了,我只是用代码复现一遍我们把所有变量都明确,首先是输入变量,我们设为2 * 2的全1矩阵,如下:然后初始化一个二维卷积层,并输出其weight和bias,如下:我们可以看到,weight和bias都有两个值,这是因为我们定义了输出通道为2,所以给我们分配了两个卷积核,然后可以看到权值分别为0...原创 2020-05-07 08:48:08 · 1072 阅读 · 1 评论 -
1分钟理解pytorch的reshape函数中-1表示的意义
先说答案,reshape函数中-1代表的是n,什么意思呢,函数中另一个参数决定了-1的值,看下面三张图就很容易理解了定义34的张量,reshape(-1, 1),你把它想象成要转换成n1的矩阵,那是多少?没错,最后转换成了12*1的矩阵同理,如果是reshape(1, -1)呢?那就是1*12了最后的一个更加直观,如果是reshape(2, -1)呢?没错,那就是2*6的矩阵...原创 2020-05-02 22:57:59 · 19341 阅读 · 4 评论 -
colab显示没有gpu的解决方法
点击视图,打开笔记本信息点击修改笔记本设置选择GPU原创 2020-05-02 14:18:45 · 6636 阅读 · 0 评论 -
使用Python为《围城》做一个图云
必备资源wordcloud、jieba库pip install wordcloudpip install jiebapip下载慢解决方法围城的txt文件围城下载地址宋体文件下载这个文件不仅仅可以用在这里,还可以用在任何画图时中文显示为方块的情况下。具体步骤在命令行界面安装好了wordcloud库后输入jupyter notebook进入环境页面创建w_cl...原创 2020-05-01 13:33:16 · 621 阅读 · 0 评论 -
使用scrapy报错:attrs() got an unexpected keyword argument 'eq'解决办法
使用scrapy的时候报错attrs() got an unexpected keyword argument ‘eq’,在百度和bing上面找了一圈没找到解决方法,最后在谷歌上找到了,出现这个问题的原因是attrs的版本不够解决方法:pip3 install attrs==19.2.0 -i http://mirrors.aliyun.com/pypi/simple --trusted-h...原创 2020-04-29 17:28:59 · 11596 阅读 · 9 评论 -
python用matplotlib画图时将标签竖着显示
添加一行代码即可,别人垂直的话改成270,但我感觉300会更好看plt.xticks(rotation=300)显示效果如下图:原创 2020-04-24 12:37:44 · 15219 阅读 · 0 评论 -
python报错ValueError: invalid literal for int() with base 10解决方法
原因:把带有小数的字符串强转为int解决方法:如果你非要用int,那就在int中加个float,例如:int(float(xxx))如果只是想将提取的字符串转换为数字,那就将int改为float即可,例如:int(xxx) -> float(xxx)...原创 2020-04-24 11:49:13 · 5646 阅读 · 0 评论 -
Python求转置矩阵最简便的方法
求矩阵A的转置矩阵:A = [[1, 2, 3], [4, 5, 6]]print(zip(*A))# 输出# [(1, 4), (2, 5), (3, 6)]原创 2020-04-13 18:42:28 · 712 阅读 · 0 评论 -
pip下载慢的解决方法
pip3,pip有时会下载的慢成狗,可能是源的问题。解决方法:python3:pip3 install 包名 -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.compython2:pip install 包名 -i http://mirrors.aliyun.com/pypi/simple ...转载 2020-04-12 14:23:14 · 338 阅读 · 0 评论 -
每天一个知识点:Python列表两个冒号加一个负数的表达方法
Python列表最常用的几种方法[start:end],例:a = [1, 3, 4, 5]print(a[:]) # 输出[1, 3, 4, 5]b = [1, 3, 4, 5, 6]print(b[2:3]) # 输出[4],表示下标2到下标3且不包含下标3,故只输出下标3的值:4[start : end : step]c = [1, 3, 4, 5, 6]pr...原创 2020-04-04 10:56:36 · 1284 阅读 · 0 评论 -
python查看list_reverseiterator object中的内容
例如l是list_reverseiterator对象可以用下面的代码查看l中的内容 for nl in l: print('list(nl):{}'.format(list(nl)))原创 2020-03-23 14:21:31 · 2590 阅读 · 0 评论 -
pip3~pip下载慢
pip3~pip下载慢转载 2020-03-03 17:23:55 · 132 阅读 · 0 评论 -
小米自然语言处理工程师招聘条件与自己的对应整理(第二次更新)
昨天就发布了,看的人挺多,自己看了一下发现直接放整理有点莫名其妙,先把招聘条件整体图片放上来吧,会持续更新。这是小米对自然语言处理工程师的4个要求:计算机或数学相关专业,硕士及以上学历熟悉自然语言处理领域基础理论和常用方法基础理论自然语言理解(NLU):NLU 是要理解给定文本的含义,文本内每个单词的特性与结构需要被理解。在理解结构的基础上,NLU 要理解自然语言中的以下...原创 2020-02-28 19:56:52 · 1180 阅读 · 0 评论 -
机器学习中各科目基本概念集合
机器学习中各科目基本概念集合数学非负函数:非负函数指的是函数的值域是非负的,也就是对于任意的定义域中的x,要求f(x)≥0法向量:垂直于平面的直线所表示的向量为该平面的法向量。法向量适用于解析几何。由于空间内有无数个直线垂直于已知平面,因此一个平面都存在无数个法向量(包括两个单位法向量)。超平面:在几何体中,超平面是一维小于其环境空间的子空间。 如果空间是3维的,那么它的超平面...原创 2020-01-31 15:26:17 · 380 阅读 · 0 评论 -
安装uwsgi报错:error linking uWSGI解决方法
原因:anaconda3中的一些bug解决方法:conda config --add channels conda-forgconda install uwsgi到此已经安装完成了,可以使用pip list命令确定一下是否安装成功。pip list...原创 2020-01-02 09:50:09 · 2722 阅读 · 3 评论 -
脚本语言是什么?
脚本语言:解释器在读取代码时,逐行地执行脚本代码。例如JS、Python而对于传统编程来说,会在执行前对所有代码进行编译。例如C语言原创 2019-12-29 14:16:16 · 673 阅读 · 0 评论 -
零基础机器学习(2)-你的第一个Python程序
阅读文本大概需要 5.4 分钟。前言大家好,这里是零基础机器学习之Python基础教程的第二讲,这节课我会手把手的教大家运行自己的第一个Python程序:Hello World!因为我们的教程面向的是所有想编程的同鞋,所以柠檬认为有必要为以前没有过编程经验的同鞋解释一下为何是“Hello World!”Hello World 中文意思是『你好,世界』。因为《The C Programme ...原创 2019-12-18 14:46:30 · 236 阅读 · 0 评论 -
零基础机器学习(1)- 我们为什么要学习Python?
好,今天这篇文章我们来讲讲我们为什么要学习Python,是的,我们是要学机器学习,所以我们要学习Python,因为机器学习是Python语言大火的重要原因之一,以后我们学习机器学习的时候也都是用Python来写。这就像你想学习做一款软件就需要学习Java一样,因为我的朋友“痴海”也写过Python的介绍,比较系统,我也跟他说过得到了转载和引用的授权,所以我下面可能有些地方会摘抄他的,我会在下面注明...原创 2019-12-17 21:04:34 · 226 阅读 · 0 评论 -
PyCharm双击或默认情况下是插入的输入状态解决方法
问题PyCharm双击或默认情况下是插入的输入状态原因安装PyCharm时勾选Vim复选框解决方法点击Pycharm工具栏上的tools,找到Vim Elumalator,取消勾选,大功告成!...原创 2019-12-06 10:38:30 · 1427 阅读 · 2 评论