- 博客(15)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 datax-web同步错误
1类型报错乱码连接后面加上 ?useUnicode=true&characterEncoding=utf82.最后一步配置后出现错误请输入配置描述信息错误这个时候就复制 Json直接配置
2022-05-27 16:58:53
418
原创 记一次 pandas 大数据写入mysql内存溢出问题
记一次 pandas 大数据写入mysql内存溢出问题pandas中dateframe的to_mysql方法可以将df数据存入Mysql,但是，数据量太大时，会报merroy erro 错误，原因就是存入mysql时内存溢出了，这是不要忘记方法中：DataFrame.to_sql(name, con, schema=None, if_exists='fail', index=True, index_label=None, chunksize=None, dtype=None, method=None)
2021-07-08 09:14:22
763
原创 k-means聚类后按标签大小顺序排列标签
k-meas聚类后按标签大小顺序排列标签数据目标方法代码效果数据目标为上面的学生分数，聚类成优、良、中、差、四类方法主要是聚类后，怎么把标签对应到原始数据中去，这里我们采用掩码的方式代码from sklearn.cluster import KMeansimport pandas as pddata=pd.read_csv("kmeanstest.csv",sep=",")print(data)X =data["score"].to_numpy().reshape(-1,1)km
2021-02-03 20:49:05
2941
原创 python3 中windows打包路径问题
python3 中windows打包路径问题pyinstaller **.py -F -p 文件路径这样就可以解决打包路径找不到的问题
2020-10-09 10:58:20
183
原创 ideal上连接hive集群配置要注意的问题
1.导入响应的依赖###pom.xml文件对应一下配置，一定要注意spark系列版本要一致，否则导入了包，依然说找不到<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>${spark.version}</version>
2020-07-25 11:37:23
135
原创 快速阅读分析
一提高阅读速度1.通过阅读标题，附标题，关键字，图标，快速掌握文章概要。2.阅读过程需要作者主动阅读，主动阅读的过程就是主动思考、主动提问的过程3.应该以“语义单元”，即“由几个字词共同构成的表达某个完整意思的词组或短语”为单位读入信息，4.一个是整行阅读练习，就是用卡纸遮住阅读内容，然后快速移下一行，在马上遮回去，来回数次，然后闭上眼睛，回想一整行的内容二、提高理解效率为提高阅读的理解效率，格吕宁提出在阅读时做视觉卡片帮助理解。视觉卡片和思维导图类似，也是主题词位于卡片中心，其他信
2020-06-18 14:32:07
232
原创 crotab自动执行脚本命令
linux 定时命令crotab详解crontab命令是linux系统中的一个系统服务crond来处理的，crond是一个守护进程，默认会开启及启动，crond进程除了给系统执行周期性的任务外也给使用用户提供了crontab命令来执行一些定时任务。crontab 命令是用于执行周期性的一些定时任务，可以定时执行一些命令或shell脚本，比如定时备份数据库，清理php session缓存文件，定期重启服务器，定期清理log文件登。crond进程全局配置文件在linux的/etc目录中：cron.d
2020-06-16 22:41:47
527
原创 python3对hbase的操作，以及遇到中文字符的处理
import happybasefrom pprint import pprintclass HappyHbase(object): """ :param str name:table name :param str row: the row key :param list_or_tuple columns: list of columns (option...
2020-04-07 18:20:07
704
原创 用python实现区块链简单原理
1.设置好区块链的对应方法#一个区块应该包括的内容# {# 'index':0, #索引# 'timestamp':"", #时间戳# 'trascations':[ #交易信息# {"sender":"", #交易发送者# recipient":"",#交易接收者# "amout":""} #转账金额# ],# ...
2020-02-23 22:08:50
863
原创 解决python 各种库在官方网站下载速度过慢的问题
下载速度过慢有时超时就会报错，主要是国内访问国外网站速度过慢导致。其实，国内像清华等，也有丰富的包。命令如下：pip install XXX -i https://pypi.tuna.tsinghua.edu.cn/simple把XXX换成你想要的库名就可以了...
2020-02-22 16:58:06
1888
1
原创 python:青蛙跳台阶
题目：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。方法一:可以列举,发现是一个斐波那契数列,这里就不多说了方法二:直接写出来.自己写的,时间复杂度比较高import itertoolsdef sum_count(n):#列表推导式准备数据为排列做准备 list01=[1 for i in range(n)...
2019-09-04 12:57:35
530
原创 python 斐波那契数列实现
##方法一:递归实现def feibo(n): if n==0: return 0 if n==1: return 1 if n>=2: return feibo(n-1)+feibo(n-2)##方法二: def Fibonacci( n): ''' n:为传入的参数 return...
2019-09-03 13:05:34
153
原创 用python实现十进制与二进制的相互转换
用python实现十进制与二进制的相互转换二进制转十进制：思路:从右到左，第一位是2的0次方，第二位是2的1次方，以此类推，第8位便是2的7次方，所以只要判断位数上的数字是1还是0，因为是从右到左，所以先把数组倒过来，这样数组下标就好算一点def binary_decimal(strr):‘’’:param strr: 输入的二进制字符串:return: 输出十进制‘’’ resu...
2019-08-29 08:26:07
1562
Mysql 分区表不生效
2021-12-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人