lihelu的博客

原创 Win的hosts文件不能修改

搜索——记事本——管理员方式打开——C:\Windows\System32\drivers\etc。

原创 Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 fa

因为本机的scala、spark与虚拟机的scala、spark版本不匹配，例如我的本机scala版本是2.11.8，虚拟机的版本是2.12.17，因此需要修改idea中的pom.xml文件与虚拟机对应的版本号。

原创 Hadoop集群搭建

- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->-- 指定YARN的主角色（ResourceManager）的地址 -->-- 指定secondarynamenode运行位置 -->-- 设置HDFS web UI用户身份 -->-- 是否将对容器实施物理内存限制 -->-- 设置yarn历史服务器地址 -->-- 保存的时间7天 -->-- 整合hive -->-- 开启日志聚集 -->

原创 Hadoop集群准备工作

解压jdk： tar -zxvf jdk-8u271-linux-x64.tar.gz -C /export/server/systemctl stop firewalld //关闭防火墙 关前后可用。systemctl status firewalld // 查看防火墙的状态。检查是否有自带的jdk：rpm -qa | grep java。消除自带的jdk：rpm -e --nodeps jdk包名。安装ntp：yum -y install ntp。测试是否安装成功：java。

原创 centos 7 安装

原创 第一章 计算机系统知识

d、状态条件寄存器（PSW）：保存根据算术指令和逻辑指令运行后测试的结果建立的各种条件码内容，分为状态标志和控制标志。流水线是指将一个较复杂的处理过程分为m个复杂程度相当、处理时间大致相等的子过程，每个子过程由一个独立的功能部件来完成，处理对象在各子过程练成的线路上连续流动。在中断方式下，I/O设备工作是CPU不再等待，而是进行其他的操作，当I/O设备完成后，通过一个硬件中断信号通知CPU，CPU再来处理接下来的工作。a、专用寄存器：运算器和控制器中的寄存器是专用寄存器，作用是固定的。

原创 第十一章 数据库设计

数据库设计属于系统设计的范畴。通常把使用数据库的系统统称为数据库应用系统，把对数据库应用系统的设计简称为数据库设计数据库应用系统的生命周期（1）数据库规划数据库规划是创建数据库应用系统的起点，是数据库应用系统的任务陈述和任务目标任务陈述定义了数据库应用系统的主要目标（2）需求描述与分析需求描述与分析是以用户的角度从系统中的数据和业务规则入手，收集和整理用户的信息，以特定的方式描述，是下一步工作的基础（3）数据库与应用程序设计数据库的设计是对用户数据的组织和存储设计；

原创 Scala问题集：at cn.itcast.WordCount.main(WordCount.scala)

在IDEA的xml文件添加Scala和spark的版本配置文件应该和主机的版本相对应。对应你的Scala版本复制就可以啦。

原创 第二章 程序语言基础知识

软考、程序设计语言、数据成分

原创 第九章 系统开发和运行知识

软件工程基础知识、系统分析基础知识、黑盒测试、白盒测试、灰盒测试、系统测试、系统设计