m0_55243062的博客

原创 在idea里面启动spark程序链接hive出现：The root scratch dir: /tmp/hive on HDFS should be writable. Current permiss

这个问题，已经按照网上的答案设置了相关的设置 第一：在代码中添加环境变量：System.setProperty(“HADOOP_USER_NAME”,“root”) 第二：拥有者账户执行hadoop fs -chmod -R 777 /tmp/。 但是执行代码 还是出现这个错误提示：The root scratch dir: /tmp/hive on HDFS should be writable. Current permiss ---------- 所以还是权限的问题，然后想到应该配置的问题，导致没有

原创 git 绑定账号，上传代码到分支，合并分支

############################################################# 建立本地master仓库，绑定 （1） ssh-keygen -t rsa -C “邮箱账号” ssh 绑定 （2）绑定远程仓库：git remote add origin 远程仓库地址 （3） 本地仓库同步远程仓库：git pull origin master （4） 本地master仓库 同步到 远程仓库： git add . git commit -m “test” git pu

原创 scala相比java 有哪些不同点（持续更新）

Scala 是马丁·奥德斯基于2001开始设计，它在java的基础之上改造来的，scala可以直接调用java的包。 一般来说，学scala的人，都会java，scala也是基于java的JVM为运行环境，并且将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言，既然也是基于JVM，所以scala和java是可以无缝对接的。而scala会更加的简洁，语法也会更容易便于阅读。 不过正是因为二者如此的相似，就更需要理清二者的不同点，我主要是从scala出发，把scala不同于java的点列出来： s.

原创 近段时间编程学习总结

学习编程已经有段时间了，发生了一些改变，第一看到大段大段的代码已经没有了恐惧，第二看到代码出错也不再那么害怕，就是想怎么找到解决问题的办法。这是主观上感受的变化。 而看到大段大段的代码，还有学习新的框架首先是思考整个逻辑和结构，寻找组成要素和这些要素的联系，这是构成一个小系统的最关键的东西。而不是像以前，一上来就吭哧吭哧的看代码。看待问题的角度发生了改变，这是一个方法论上的变化 当然这些改变是从许多的bug和error里爬出来的，之前没有学编程，我大概是一个文科生的思维，出现问题了我首先思考的是这个问题为什

原创 一张图搞懂HDFS

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。 HDFS 只是分布式文件管理系统中的一种。 HDFS 是Hadoop 的分布式储存解决方案，整体的架构如图所示 1.NameNode（ nn） ：就是Master， 它 是一个主管、 管理者。 （ 1） 管理HDFS的名称空间； （ 2） 配置副本策略； （ 3） 管理数据块（ Block） 映射信息； （ 4） 处理客户端读

原创 初识Hadoop

001 hadoop的组成部分 主要是有分布式储存HDFS，分布式计算MapReduce，以及资源调度中心Yarn组成，HDFS主要负责切割数据实实在在的把数据储存到各个节点上，MapReduce是负责分布式计算，然后再汇总，而Yarn则是负责统一调度计算资源。 002 HDFS HDFS主要有Namenode，DataNode,SecondaryNameNode组成，NameNode是主节点，负责储存各个datanode的元数据，datanode是实打实的储存数据，二者之间的关系就像DNA和海量的蛋白质的

原创 一张图搞懂系列之Linux基础操作

学习编程到目前为止，一个最大的感受就是：如果你真的很想做成一件事，就不会有恐惧。 在上大学的时候，学过编程，因为找一个bug 找到半夜两三点，最后发现是一个中文的逗号的问题，从此以后一直对编程有恐惧心理。 但是现在，看到黑不溜秋的一堆代码，也没有什么恐惧，现在无论是看这java 还是Linux都很平淡，还能搞几个Linux 跳着来回搞，也能慢慢看里面是什么意思，哪里有错误，恐惧心理早就消失不见。 我仔细回顾，发现两个最重要的点，让我克服了恐惧。 其一，是因为自己很想做这件事，我有想通过编程去完成的事情，

原创 一张图搞懂系列之 spring IOC

原创 一张图搞懂系列之 Mybatis

公司的电脑真是真作妖，今天搞了一天的环境配置，但是在家里分分钟搞定，也是很服气啊。 不过搞到后面我突然顿悟了，想到了一个学习编程的好方法，编程啊就像在造一件工业品一样，就是工程师啊，我就想起空手拆摩托车发动机，拆下来上千个零件，然后再拼上。这个过程就和编程差不多啊，必须得有工程图纸啊。 所以，我们学习这个编程一样 也是在拆分组装各种“零件”，怎么能少了工程图纸呢？ 所以，我就来画个图纸吧，图纸画出来了，也学的差不多了。 今天学习Mybatis的图纸如下： ...

原创 细节决定成败（第47天）

犯了一个错误，Java Web 里面字母大小写 写错了，导致后面找了接近两个小时的错误，最后在同学的帮助下，才发现一个大小写搞错了，导致我犯这个低级错误的原因，我总结出来了。 001 忽略细节 之前装了阿里巴巴的代码规范插件，会给不太规范的代码打上波浪线，但是这些代码不一定是错误，所以就偷懒，只要不变红，就觉得没问题，然后导致这次忽略画波浪线的代码。 002 代码要规范 同学提醒我，需要注意平时的代码规范，看到有波浪线的要消掉，避免后期代码越来越多，会出错。所以现在决定是继续使用阿里巴巴的插件，代码要规范。

原创 原理的重要性（第46天）

什么样的材料更有利于自己大脑的记忆和理解呢？我觉得可能应该是图解，突然想到编程里面会有流程图，问了老师和同学，让他们介绍一款比较好用的流程图绘制软件，今天我就试了一下processon,感觉还很不错。 001 流程图 在学习一个新的编程知识，比起动手去敲代码更重要的是理解里面的模型，原理，而流程图是可以帮助自己加深理解的，所以今天来尝试绘制了一张流程图，如下： 下次尝试把更多的知识细节都加入到流程图里面 002 思维导图 边学习边做的笔记 ...

原创 如何提高查阅API文档的能力（第45天）

001 把文档当字典 一个API，可以把它理解为函数名、输入、输出三部分组成，知道了每个API的功能，该传什么参数，返回的是什么，就基本上知道该怎么使用它了。 002 编程是对现实世界的抽象 API就是被人抽象好的，然后你用别人的功能，会用API并不是一个工程师的全部，越资深的工程师，越要有架构设计能力，自己去开发一套东西出来，而不是用别人的东西，当然这个是后面的目标，现在是打好基础。 ...

原创 AJAX和JSON（编程第44天）

AJAX和JSON（第44天）001 AJAX 的概念和应用场景002 JSON ** 001 AJAX 的概念和应用场景 ** 网页有两种交互方式，同步方式和异步方式： 同步方式:客户端必须等待服务器端的响应，在等待的期间客户端不能做其他操作。 异步方式:客户端不需要等待服务器端的响应，在服务器处理请求的过程中，客户端可以进行其他 的操作。 而Ajax就是一种异步交互方式，Ajax 全名叫 ” Asynchronous Javascript And XML “，是一种在无需重新加载整个网页的情况下，能够更