- 博客(6)
- 收藏
- 关注
RSS订阅原创 Centos 7中编译spark 2.4.4源码
1、安装centos 7，修改 vi /etc/sysconfig/network-scripts/ifg-eno16777736 文件，设置静态ip，重启网络 service network restart 2、修改机器名vi /etc/hosts 原始的内容删掉，增加：192.168.153.4 hadoop000192.168.153.4 localhostvi /et...
2019-11-21 13:53:28
234
原创 Notepad++使用心得
一开始并不知道有Notepad++这个工具，后来看到同事在用，看上去挺好用的，就下载了来用。在用的过程中，有2个心得：1、设置背景颜色通过 工具 -》语言格式设置 -》点击 色彩样式 中的 背景色 -》More Colors -》 色调80，饱和度91，亮度180 -》勾选 使用全局背景色，点击 保存并关闭 ，就好了。这样设置的颜色比较柔和，也不会太暗 或者 太亮，眼睛不会太累。...
2019-11-12 15:13:08
2023
原创 在集群上提交pyspark开发的spark应用
在集群上提交pyspark开发的spark应用，就是通过如下方式提交代码：spark-submit --master spark://192.168.153.6:7077 --py-files /root/wordcount.zip /root/wordcount.py其中 --master 指出了集群的地址和ip， --py-files指定了要执行的代码的zip压缩包，最后1个参数指...
2019-11-07 13:52:38
1056
原创 java版的hello world
今天写了java版的hello world，但是发现报错，代码如下：public class HelloWorld { public static void main(String[] args) { Thread.sleep(1000); System.out.println("hello,world!"); ...
2019-11-06 18:25:14
440
原创 intellij idea常用快捷键记录
alt+enter会显示要导入的包名，可以选择。还可以用来选择 add exception to method signature 方法抛出异常。还可以选择 surround with try/catch 给代码增加异常处理，不过用 ctrl+alt+T更强大，还可以选择是否是if else等。...
2019-11-06 17:59:06
601
原创 windows10下python开发spark应用的环境搭建
环境搭建主要涉及到3方面，第1是安装，第2是环境变量的配置，第3是验证安装和配置是否成功，总的涉及到以下5个部分。环境变量配置是在 此电脑 -》 属性 -》 高级系统设置 -》 高级 -》 环境变量 中最下面的系统环境变量中 可以进行设置。1、java从官网下载，这里下载的是1.8.0_121版。环境变量配置：新增JAVA_HOMEC:\Program Files\J...
2019-11-06 16:37:20
1797
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人