干货

一角优雅的冰山

mac 实用软件

1.文本软件 Windows的notepad++特别好用,mac上没有。比较下来UltraEdit_18.00.0.40比较好用。 且能打开 几个G 的文件。 其他的比如: ① sublime 不适合打开超大文件。 ② Atom 打开大文件会有“可能会卡死”的提示,且打开稍慢。 ③ Bracket...

2019-05-11 21:55:36

阅读数 294

评论数 0

mac 使用技巧和软件

1.修改配置文件 ①先快速跳转到目录 ②再用UltraEdit打开文件,进行修改

2019-05-11 21:46:11

阅读数 40

评论数 0

mac搭建大数据环境遇到的问题

使用brew安装hadoop,使用无法正常市用。最终是使用下载解压包的方式。 问题1 Invalid HADOOP_COMMON_HOME xin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/m...

2019-05-11 21:38:31

阅读数 11

评论数 0

SSH 免密登录

目录结构 免密登录相关文件放在~/.ssh目录下,主要有4个文件。 [root@linux1 .ssh]# pwd /root/.ssh [root@linux1 .ssh]# ll total 16 -rw-r--r--. 1 root root 393 May 21 04:48 aut...

2019-05-11 18:45:19

阅读数 304

评论数 0

mac 无法使用 ssh root@本机

解决方法 以root身份,chmod +w /etc/ssh/sshd_config vi /etc/ssh/sshd_config PermitRootLogin 的默认是 prohibit-password ,改成 yes 。 如果只是去掉前面的 # 号,那么只有root用户可以s...

2019-05-11 16:53:32

阅读数 11

评论数 0

spark 日志级别设置为ERROR

想只显示ERROR日志。 方式1 代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR") 这个启动时,仍然会有月一些其他日志. 方式2 log4j.properties文件设置 1.新建一个resou...

2019-04-19 14:54:26

阅读数 98

评论数 0

Linux安装软件 MySql Nginx

1.安装MySql 卸载自带的 检查linux是否带有mysql的安装包 rpm -qa | grep mysql 卸载centos6.5自带的mysql的包 例如:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 方式一...

2019-04-18 21:02:30

阅读数 38

评论数 0

解决mac使用 lightgbm 时 image not found

brew install cmake brew install gcc git clone --recursive https://github.com/Microsoft/LightGBM ; cd LightGBM 看自己电脑上,gcc是几。我的mac是8。 /usr/local/opt/...

2019-03-25 15:18:59

阅读数 32

评论数 0

scala spark 的sc.makeRDD速度慢

原来的写法 sc.makeRDD(HashMap.toSeq).sortBy(_._2).take(firstN) 有两处这样的写法,5万条数据,计算了84分钟。 11:52:56 13:16:10 后来的写法 ListMap.toList.sortBy(_._2).take(firstN) ...

2019-03-14 13:56:11

阅读数 36

评论数 0

mac搭建本地大数据开发环境

用root用户修改配置文件,没有root用户,先创建一个。 例如: vi /etc/profile 保存退出: :wq! 1.java 一般安装位置 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home 2.安装...

2019-02-26 16:24:54

阅读数 605

评论数 0

安装spark报错java路径不对

/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No su...

2019-02-26 16:07:43

阅读数 179

评论数 0

mac windows 安装两个python环境

同时拥有python3和python2环境。 anaconda下载地址 https://www.anaconda.com/distribution/#download-section 用anaconda图像界面操作 # 安装好后,使用activate激活某个环境 activate python3...

2019-02-15 15:13:25

阅读数 136

评论数 0

opencv Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow,

opencv 报错 Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow, 原因: 路径不能有中文。 更多: htt...

2019-01-21 13:59:19

阅读数 71

评论数 0

Ubuntu网卡设置连接网络

网络设置参考:https://blog.csdn.net/hurricane_0x01/article/details/51941941 语言设置参考:https://blog.csdn.net/langshi_2011/article/details/78993781 版本:ubuntu-18....

2019-01-10 16:42:58

阅读数 62

评论数 0

Maven排除冲突依赖jar包

SequenceFile应该引入的是hadoop包下的,但是引入了flink包下的,因为flink里这个包版本较低,没有这个方法。所以报错。需要排除这个冲突的依赖。 1.找出冲突包位置 找到冲突包所在的父包。 打开idea的 Terminal 输入命令:mvn dependency:tree ...

2019-01-07 18:06:06

阅读数 301

评论数 0

hbase集群不能启动

hbase集群不能启动,要么只起来某几台,要么是HMaster起来了,RegionServer没起来。 原因:时间不同步。 进行时间同步。 如果能联网,就用 ntpdate -u cn.pool.ntp.org 不能联网,就手动指定date 010319492019.30(月日时分年.秒) ...

2019-01-03 19:58:51

阅读数 52

评论数 0

设置Jupyter Notebook工作目录,4种方法都不行,所以改源码

直接看第5段。 下面是思考过程,最终方法在第5段。 更改Jupyter Notebook起始目录,网上说了4中方法,但是有时候行,有时候不行。有的电脑行,有的电脑不行。 https://blog.csdn.net/qq_33039859/article/details/54604533 然后想到修...

2018-12-01 17:22:05

阅读数 321

评论数 0

hive分隔符\001和\011与\x03 用pandas切割时出现的问题

hive导出数据,想找一个分隔符。hive默认分隔符是“\001”。想换个其他的。在ASCII码对照表中找了下,决定用“\0011”。 然后Hive能正常数据,到notepad++里面显示的字符和ASCII码对照表里的是一样的。 但是在用“\011”切割时,切割不出,且字段首位不能有空格。 后...

2018-11-28 14:00:51

阅读数 1551

评论数 0

宗成庆《统计自然语言处理》 目录的思维导图

2018-11-22 14:16:07

阅读数 328

评论数 0

'gbk' codec can't decode byte 0xbf in position 2: illegal multibyte sequence

python 读取文件报错 UnicodeDecodeError Traceback (most recent call last) <ipython-input-6-0e9485397930&gt...

2018-11-21 17:56:54

阅读数 300

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭