火麒马

原创 虚拟机克隆——千峰视频

https://www.iqiyi.com/v_19rrfint94.html#curid=931346100_fb0270d30e2b2defaff8415853d0fba51、先进行完整克隆，修改名称，此时这个克隆出来的hadoop02和hadoop01是一模一样的，只是名字不一样而已2、启动它，登录，同时需要修改四个地方（网卡信息，IP地址，映射，主机名）3、a、可以用...

原创 Yarn学习——千峰视频

Hadoop的第二个框架Yarn，Yarn是一个资源管理器和任务调度器，云计算的三层服务普遍认为，云计算包括以下几个层次的服务：IaaS、PaaS和SaaS。这里所谓的层次，是分层体系架构意义上的“层次”。IaaS、PaaS、SaaS分别实现在基础设施层、软件开放运行平台层、应用软件层。IaaS(Infrastructure-as-a-Service)：基础设施即服务。消费者通过I...

原创 HDFS简单介绍及读写流程——千峰视频

依据官网介绍，Hadoop有四大模块https://hadoop.apache.org/old/ （还有三大核心）官网learn about这部分，左边这些是四大模块，都是需要学习的https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html...

原创 Hadoop 介绍&单机版安装及应用——千峰视频

Hadoop 介绍依据官网介绍，Hadoop有四大模块https://hadoop.apache.org/old/ （还有三大核心）Apache™Hadoop®项目开发了用于可靠、可伸缩、分布式计算的开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它被设计成从单个服务器扩展到数千台机器，每台机器都提供本地计算和存...

转载 项目经理的一天都做哪些工作

你应该知道项目经理做些什么，他的工作就是将一个项目从概念转变为最终完成的产品。通常项目经理会与一个团队协作来完成工作。这个团队开始时对于项目往往了解不多。可以这样来考虑，把项目经理每天所做的每一项工作划分为3类。 工作划分收集产品需求作为一个项目经理，这往往意味着你要...

转载 软件架构设计的6个步骤及工作内容

如何有序、高效、全面做好软件架构设计呢？作为一名软件架构师，应该具备的基本素质是：掌握架构设计的基本步骤，且清晰每个步骤的工作内容。本文结合实际项目经验，将对软件架构设计的步骤及工作内容进行介绍。在整个软件架构设计过程中，笔者结合自身项目经验将架构设计步骤罗列为6个大步骤，依次是需求分析、领域建模、确定关键需求、概念架构设计、细化架构设计、架构验证。在实际项目过程中，也是遵循这6个大步骤进行软...

原创 Linux的centos7在重启时一直黑屏

启动Linux时候一直是黑屏（依据网上经验）systemd-fsck[546]:fsck:error 2(No such file or directory) while executing fsck.ext2 for /dev/mapper/c1-roothost smbus controller not enabled但是参照好多方法都不行，后面问了群主。说可能是节点坏...

原创 SSH免密登录失败

不晓得是什么情况，可能是在删除操作的时候多删除东西了。导致免密登录失败。后面参考了： ssh: connect to host slave1 port 22: Connection refused下面依据节点查找原因。免密登录失败节点查不出东西（ssh服务安装出问题了）参考了：https://blog.csdn.net/YlanHds/article/details/801...

原创 通过yum安装资源失败

Loaded plugins: fastestmirror, langpacksOne of the configured repositories failed (Unknown),and yum doesn't have enough cached data to continue. At this point the onlysafe thing yum can do is fa...

原创 关于xampp集成环境的官网下载

在xampp的官网上选择对应系统的版本进行下载，官网地址：https://www.apachefriends.org/zh_cn/index.html找到这个正在下载我先将其上传至普通用户下。再通过命令移动到root用户下。可以参考linux应用之xampp集成环境的安装及配置（centos）http://www.mamicode.com/i...

原创 大数据自学资料网页

大数据自学资料网页https://www.17zixueba.com/?fromuid=132534

原创 Hadoop分布式集群mysql的安装配置

安装mysql有两个用途，一个是存放hive的数据，一个是给spark的项目使用，用spark计算出来的数据都是存放到mysql中然后，javaee再从mysql进行获取数据。1、先安装mysql（切换到root用户下，用命令： yum install -y mysql 安装mysql客户端）安装下载完后。显示如下图用命令： service mysqld star...

原创 Linux中root用户与普通用户之间的切换

Linux中，可以学习的资料： https://blog.csdn.net/zhangpeng188 Linux 中各个文件夹的作用 ...

原创 嘴里又苦又干，还有异味

如果，早上起来，嘴里又苦又干，还有异味？或许是下面这四种原因！第一种：肝火旺从中医的角度来看，口干、口苦、是肝胆火旺的典型症状！口苦是胆气上溢的，而口干则是因肝火耗损津液造成，同时肝火旺，还会导致口臭的出现！如果，身体同时伴随，出现头痛晕眩、面红眼赤、大便干结、爱发脾气、失眠多梦、眼干的情况，都要考虑是肝火旺所致！对策：吃菠菜，喝金桂菊茶、按太冲穴①菠菜具有滋阴润燥、舒肝养血的作...

原创 C#增强部分

5天玩转C#并行和多线程编程 —— 第五天 多线程编程大总结https://bbs.csdn.net/topics/390653949?page=1C#多线程处理一千多万条数据。。。c#如何使用多线程https://jingyan.baidu.com/article/066074d61074f3c3c21cb02b.htmlC# 多线程编程实战（一）--线程基础...

原创 看的资料

C#多线程编程实战 原书第2版C# 图解教程 第一章 C#和.NET框架C#图解教程第四版pdf（高清带完整目录）链接: https://pan.baidu.com/s/1zMbL-6KyanPtl8CsHbhCyw 密码强调内容: a64a 推荐10本C#编程的最佳书籍 https://blog.csdn.net/yi412/article/details/69944985/...

原创 大数据打包

IDEA中scala实现word_count，sbt打jar包，并发送linux中spark运行(sbt打包详细) 大神教你如何轻松搞定克隆虚拟机增加Hadoop节点 - 简书

原创 IDEA的使用

Intellij IDEA 2017 debug断点调试技巧与总结详解篇新手在IDEA如何创建一个Web项目_Kevinvcc200的博客-CSDN博客idea如何开发一个简单的web项目https://blog.csdn.net/Begin_W_T_E_I_M/article/details/91044386用IDEA进行Java后台开发(一)IDEA...

原创 IDEA

IDEA的各个版本 https://www.jetbrains.com/idea/download/other.htmlIDEA的官网 https://www.jetbrains.com/idea/

转载 IntelliJ IDEA 14.x 与 Tomcat 集成，创造并运行Java Web项目

IntelliJ IDEA 14.x 与 Tomcat 集成，创建并运行Java Web项目这种需求对现在来说比较雷了，老代码。===========针对导入或者打开老项目===========老项目需要配置facet，artifact，否则没法运行。也就是说idea的插件需要根据artifact来指导怎么打包怎么罗列编译这些文件。原文：http://my.oschina.net/...

原创 IDEA14--项目部署与更新、提交的使用心得

SVN中的 项目的更新update·SVN中的 项目的更新commit 提交IntelliJ IDEA一个新的maven项目都要先add to vcs才能commit么？如果不先add，那么文件是红色的，idea里红色的文件是不会被提交svn的，只有先add，然后文件变绿色了，才能提交svn，如果每次提交svn都要add，岂不是很麻烦？（最近刚开始用idea，还不太...

原创 IDEA14--GIt安装的使用心得

1.首先，你如果把代码写好后，要提交到SVN，就必须用到这个git,我的软件是新装的，开始是没有git的后来进过辛苦弄了一番，做出了下图教程2.先下载git这个软件https://git-for-windows.github.io/3.到里面去设计git插件.报这个错误，就表示是找不到git.exe这个时候，就把刚刚下载的那个git.exe连接好相对的路径...

原创 IDEA14--tomcat的部署

原创 IDEA14--SVN安装的使用心得

1.首先安装软件，http://jingyan.baidu.com/album/54b6b9c0f79b0c2d583b47d6.html2.安装完软件后就装SVN。但是开始时候，我的软件里面没有这是在file -->setting里面的然后经过不辞辛苦的弄了一番，我终于弄出来了，原来就是没有勾选上这个插件。怎么才能有这个字段呢。将Subversion Inte...

原创 3. 掌握 Spark Streaming 编程——aboutyun

1、什么是 Spark Streaming？Spark Streaming 可以近实时地从 Kafka，Flume，TCP socket 接受数据，并对其进行实时处理。它的原理是将流式计算转为一批很小的的批处理作业。2、Streaming 中的常用概念离散流（DStream）：Streaming对内部持续的实时数据流的抽象描述，对Dstream的操作最终都转为了对 RDD 的操...

原创 用spark-shell命令时候报错了——aboutyun

[aboutyun@master ~]$ spark-shellSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel).20/01/02 10:42:19 WARN util.NativeCodeLoader: Unable to load native-hadoop l...

原创 关于HDFS的练习

1、如果用hdfs命令创建文件夹，但是不加/符号，则具体如下如果要创建的文件夹没有/ ,而且也没有-p，则命令不能执行也就是说有-p,则有无/都可以，如果没有-p,则文件夹一定要带/。用hdfs命令在words.txt上添加内容其实这里有个问题，当第一次使用appendToFile的命令时候，是可以正常创建的。但是当第二次的时候，不能正常创建了。报错了。...