- 博客(9)
- 收藏
- 关注
RSS订阅原创 pycharm 远程连接spark，抛出异常 raise KeyError(key) from None KeyError: ‘SPARK_HOME‘
目录1 问题说明2 解决方案1 问题说明spark安装在远程服务器上，想采用pycharm连接远程服务器运行spark，先写了一个简单样例如下from pyspark import SparkContextsc = SparkContext(master='local', appName='first app')却抛出异常raise KeyError(key) from None KeyError: ‘SPARK_HOME’，详细日志如下：ssh://geosot@162.105.17.84
2020-12-31 16:49:21
9324
1
原创 启动Hbase抛出警告[regionserver/slave7/127.0.1.1:16020:HRegionServer@2326] - error telling master we are up
目录1 问题说明2 解决方案1 问题说明启动Hbase抛出警告WARN [regionserver/slave7/127.0.1.1:16020:HRegionServer@2326] - error telling master we are up，详细日志如下：2020-11-30 13:35:52,941 [myid:] - INFO [regionserver/slave7/127.0.1.1:16020:HRegionServer@2305] - reportForDuty to mas
2020-11-30 20:53:46
1097
原创 启动Hbase抛出异常org.apache.hadoop.hbase.ClockOutOfSyncException
目录1 问题说明2 解决方案2.1 调大允许的时差阈值2.2 slave时间与master同步3 参考资料1 问题说明启动Hbase抛出异常org.apache.hadoop.hbase.ClockOutOfSyncException，详细日志如下：2020-11-24 11:22:59,095 WARN [B.defaultRpcServer.handler=2,queue=2,port=16000] master.ServerManager: Server slave11,16020,16061
2020-11-24 22:07:15
556
原创 MapReduce构建倒排索引和压缩倒排索引
目录1 问题说明2 方法和代码2.1 基础倒排索引2.1.1 方法说明2.1.2 代码2.2 采用partitioner的倒排索引2.2.1 方法说明2.2.2 代码2.3 采用gap压缩的倒排索引2.3.1 方法说明2.3.2 代码2.4 采用二进制压缩的倒排索引2.4.1 方法说明2.4.2 代码1 问题说明关于倒排索引的介绍可以参考这篇博客。本文采用MapReduce构建倒排索引并实现对倒排索引的压缩。2 方法和代码2.1 基础倒排索引2.1.1 方法说明基础倒排索引的Mapper先提取
2020-11-23 17:27:17
1055
1
转载 Windows设置调节音量的快捷键
目录1 问题说明2 设置方法3 代码说明4 参考资料1 问题说明新换了电脑，系统是Windows10，但是键盘上没有音量键，调节音量很不方便，通过下面的方法可以设置调节音量的快捷键。2 设置方法新建文本文件“音量快捷键.txt”；在文件中写入以下内容，实现F9减小音量，F10调大音量；Windows Registry Editor Version 5.00[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Keyboard Layout
2020-11-22 17:21:43
12990
3
原创 TextPair数据结构
目录1 说明2 代码3 参考资料1 说明写MapReduce程序是，有时需要用的两个Text组成的TextPair这种数据结构，这里给出相应代码。2 代码import org.apache.hadoop.io.Text;import org.apache.hadoop.io.WritableComparable;import org.apache.hadoop.io.WritableComparator;import org.apache.hadoop.io.WritableUtils;i
2020-11-17 14:19:50
571
原创 MapReduce计算PMI
目录1 问题说明2 采用pair结构计算PMI2.1 采用pair结构的思路2.2 代码3 采用Stripes结构计算PMI3.1 采用Stripes结构的思路3.2 代码4 总结1 问题说明现有很多篇文档，分别使用pair和stripes两种数据结构，计算语料库中两两单词的互信息PMI，PMI的计算方法为：PMI(x,y)=logp(x,y)p(x)p(y)PMI(x,y)=log\frac{ p(x,y)}{p(x)p(y)}PMI(x,y)=logp(x)p(y)p(x,y)其中，x,yx,
2020-11-17 14:12:34
1321
3
原创 Windows添加开机和关闭开机启动项
文章目录添加开机启动项关闭开机启动项添加开机启动项win+R打开运行面板，输入 shell:startup，会自动打开C:\Users\XXX\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup文件夹；将想要设置为开机自启的软件的快捷方式复制到该文件夹中，如Word等；Ctrl+Shift+Esc打开任务管理器，进入启动面板检查软件是否被添加到启动项；关闭开机启动项同上，Ctrl+Shift+Esc
2020-11-12 09:49:41
1326
原创 Ubuntu16.04中对.sh文件创建桌面图标
Ubuntu16.04中对.sh文件创建桌面图标说明创建方法说明在Ubuntu中，启动一些软件需要在命令行中运行.sh文件，有时候找路径会很麻烦，这是在桌面添加图标，直接双击启动就很方便。创建方法进入桌面文件夹cd ~/desktop创建文件vim test.desktop3 输入以下内容[Desktop Entry]Encoding=UTF-8Name= myName # 快捷方式名称Comment= 启动hadoop所有 # 注释内容Exec= xxxxx.sh #
2020-11-05 19:04:01
802
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人