- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2021-04-05：使用IDEA进行spark读取HDFS上的文件遇到的两个错误
使用IDEA进行spark读取HDFS上的文件遇到的两个错误：（1）Failed on local exception: java.io.IOException: 你的主机中的软件中止了一个已建立的连接我是连接xshell开启集群再在IDEA读取hdfs上的数据： val data = spark.read.option("header","true").option("delimiter",",").csv("hdfs://master:50070/usr/root/test.csv"
2021-04-05 14:40:25
2210
原创 xshell 连接失败
今天vmware连接虚拟机后，打开Xshell新建会话连接不成功：....Connection failed.....未连接....（已经成功了，所以这里没有保留错误的过程截图）尝试了网络上各种方法，在试ping IP地址时突然想到之前都是可以正常使用的，后来好像为了让笔记本开机快一点，关闭了好多服务。于是去电脑管家，查看之前关闭的服务（有一个vmware服务是自己开机启动自己动态分配ip地址的），把vmware相关的服务都恢复启用，重启电脑，让这些服务也自己开机启动（否则.
2021-03-21 19:46:38
1344
原创 pycharm-ConvergenceWarning: Number of distinct clusters (19) found smaller than n_clusters (20).
ConvergenceWarning: Number of distinct clusters (19) found smaller than n_clusters (20).pycharm利用Kmeans做文本聚类，选择最优k值时，飘红可以发现，从20开始就飘红了，追溯代码，可能是聚类中心点个数设置太大了，n_features达到20时error已经等于0，后面的也就无需设置太多中心点。原始代码：def k_determin(): '''测试选择最优参数'''
2021-01-19 14:32:40
3620
原创 Go安装msi文件-无法访问Windows Installer服务
双击安装msi文件显示：无法访问Windows Installer服务。Windows Installer没有正确安装时可能发生这种情况。。。在网上尝试了许多种方法都没有用，后来发现下面的方法可以解决。使用Win+R打开运行输入services.msc 找到Windows Installer，发现WindowsInstaller显示“禁用”（可能是某一次电脑乱七八糟下载了其他软件，被我设置禁用了），难怪会报“无法访问Windows Installer服务”。右键Windows Ins
2020-12-29 11:45:05
476
原创 pyspark读取ES数据报array错误
pyspark读取ES数据报数组错误...20/12/03 10:56:04 WARN Resource: Detected type name in resource [media_index/media]. Type names are deprecated and will be removed in a later release.20/12/03 10:56:05 WARN Resource: Detected type name in resource [media_index/me.
2020-12-03 11:17:17
1110
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人