m0_45323484的博客

原创 DataGrip 输出结果显示在代码区, 改为显示在下方控制台output (hive连接datagrip时)

方法1:方法2:成功后效果:如果还是不行, 可参考:IT技术 - 简书

原创 什么是spark? spark与hadoop的对比

1.什么是SparkHadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2.Hadoop与Spark历史Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。3.Hadoop与Spark框架对比4.Spark内置模块Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模...

原创 HBase流程框架图

原创 大数据 HDFS-集群扩容及缩容

目录1.添加白名单配置白名单步骤：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件2）在hdfs-site.xml配置文件中增加dfs.hosts配置参数3）分发配置文件whitelist，hdfs-site.xml4）第一次添加白名单必须重启集群，不是第一次，只需要刷新NameNode节点即可5）在web浏览器上查看DN，http://hadoop102:9870/dfs

原创 sublime的安装步骤、sublime的中文设置、sublime连接Linux的sftp（详细）

目录1.subline的安装1.1 安装subline应用（双击进入安装界面）1.2 选择自己的安装目录1.3 根据自己需求，是否添加到资源管理器上 菜单1.4 点击finish即可完成安装2.subline的中文设置2.1 点击 右下角Windows2.2 双击运行2.3 使用快捷键 Ctrl+Shift+P,弹出查找栏2.4 在搜索框中输入关键字 install2.5 在弹出的框中输入Chinese，鼠标单击或回车 下拉框中的ChineseLoc...