- 博客(23)
- 收藏
- 关注
RSS订阅
原创 在Linux上安装JDK1.8详解(一看就会)
详细介绍一下安装1JDK.8版本步骤步骤一、将准备好JDK1.8安装包放入mkdir -p /export/soft (安装包路径)**** 安装包路径mkdir -p /exort/install 解压路径解压命令tar -zxvf /mkdir -p /export/soft/jdk安装包 -C /exort/install步骤二、创建Java的配置文件在/e...
2019-11-06 21:12:25
895
1
原创 大数据技术为什么这么快?
大数据技术在当今社会是一种炙手可热的技术那为什么传统数据处理速度没有大数据处理数速度没有大数据这么快呢?传统数据与大数据处理方式对比从图中可见一共分为四点...
2019-11-04 20:56:57
4124
2
原创 配置网络yum源详细步骤(一看就懂)
配置网络Yum源也不是很难,一共分为七步步骤1、查看系统中有无 httpdrpm -qa | grep httpd如果没有搜索到httpd,就先用本地yum源安装httpd配置本地yum源yum install - y httpd下载成功后或有http就直接打开启httpd服务service httpd start步骤2、检查一下iso文件是否挂载df -h 确定iso镜像文件...
2019-10-31 15:44:17
7170
1
原创 MySQL的join关键字详解
MySQL的join关键字详解SQL Join联接子句用于在两个或更多在数据库中的表的记录组合。JOIN是通过使用从两个表字段共通的值组合连接起来。MySQL官方只提供了三种join方式，内连接、左连接和右连接，不支持其他的连接关键字。但是可以通过一定的语法将达到其他的连接的效果。1.内连接 inner join最频繁使用的和重要的联接是INNER JOIN。它也被称为一个等值连接。INN...
2019-11-21 18:12:37
991
1
转载 linux远程拷贝命令及not a regular file 解决方案
linux 远程拷贝 ：scpscp 文件名 root@远程ip:/路径/将本地home目录下的test.tar的文件拷贝到远程主机192.168.1.23的/home/adm/目录下，则命令为：scp /home/test.tar root@192.168.1.23:/home/adm/ 回车后输入密码就可以了scp提供了几个选项 在scp后加就行了-p 拷贝文件的时候保留源文件建...
2019-11-19 16:23:15
777
原创 MapReduce核心思想
MapReduce核心思想需求：有一个五层的图书馆，需要获取图书馆中一共有多少本书。(1)只有一个人时，是能一本一本的数！工作量巨大，耗时较长。(2)分配五个人由你支配。此时你怎么支配？五个人，每个人数一层的书量最终将五个人的量汇总求和，就是图书馆中最终书的数量。MapReduce的思想核心是==“分而治之，先分后合”。即将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进...
2019-11-18 20:43:58
4239
1
原创 MapReduce计算任务的步骤
mapReduce编程模型的总结：=事实上MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤第一步：设置inputFormat类，将数据切分成key，value对，输入到第二步第二步：自定义map逻辑，处理第一步的输入数据，然后转换成新的key，value对进行输出第三步：对输出的key，value对进行分区。相同...
2019-11-14 20:43:24
2390
转载 添加新的节点到集群的步骤
添加新的节点到集群的步骤需求基础：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集...
2019-11-06 21:33:21
1589
原创 DataNode功能详解
Datanode功能一共分为三点一、负责管理它所在结点上存储的数据的读写，及存储数据。一般是文件系统客户端需要请求对指定数据结点进行读写操作，Datanode作为数据结点的服务进程来与文件系统客户端打交道。。二、向Namenode结点报告状态。每个Datanode结点会周期性地向Namenode发送心跳信号和文件块状态报告。(心跳是每3秒一次，心跳返回结果带有namenode给该datano...
2019-11-05 09:30:55
13602
原创 NameNode作用
HDFS-NameNode作用一共分为三点一、维护管理HDFS集群中文件系统的名字空间(元数据信息)列如打开文件系统、关闭文件系统、重命名文件或者目录等.二、Namenode节点负责确定指定的文件块到具体的Datanode结点的映射关系。在客户端与数据节点之间共享数据。三、管理Datanode结点的状态报告，包括Datanode结点的健康状态报告和其所在结点上数据块状态报告，以便能够及时...
2019-11-05 09:23:05
7163
原创 Hadoop的起源及发展历程
Hadoop之父Doug CuttingHadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储—...
2019-11-05 09:10:15
9225
1
原创 如何配置系统动态网络
配置系统网络（动态）步骤一、第一次安装完毕系统，配置网络（动态网络）。看一下初始配置步骤二、打开如下文件修改配置vi /etc/sysconfig/network-scripts/ifcfg-eth0esc+:+wq保存退出重启网络快捷搭:service network restart查看一下IP信息 自动分配好了*步骤三 、ping一下百度(需要联网)*通了表示配置成功...
2019-11-03 11:12:38
997
原创 配置系统静态网络
配置系统网络（静态）步骤一、查看虚拟机设置MAC地址需要详细记录（很关键）步骤二、调整70-persistent-net.rules文件#vi /etc/udev/rules.d/70-persistent-net.rules删除红色框内容将eth1 改为eth0（当前网卡编号）address 必须与前面的唯一标识相同，若不相同，需要将address改为和MAC相同esc...
2019-11-03 11:09:04
2045
原创 Linux虚拟机系统安装(新手必看)
系统安装步骤一、把ISO镜像文件路径提填入步骤二、开启选择第一项 回车选择Skip 回车选中Next回车选择中文简体 回车选择英国英语式键盘 回车选中基本存储设备 回车选择忽略所有数据 回车主机名自定义 下一步选择...
2019-11-01 14:39:52
835
原创 如何对文件进行压缩和解压缩
一、创建压缩包格式一般有两种:tar -z/jcvf 压缩包名称 被打包压缩的文件或目录z: gzip格式j:bzip2格式c:创建包v:显示详细信息f:指定文件分析:z和j 表示两种不同的压缩包格式 看个人需求进行选择二、解压压缩文件:tar -z/jxvf 压缩包文件 -C 目录x:解压文件/提取文件-C 解压文件到指定的目录!注意 这个-C是大写 写成小写或者遗漏...
2019-10-31 17:22:40
1056
原创 配置本地yum源
配置之前确定镜像iso文件已经挂载且记住挂载目录路径本地资源库的配置步骤分为5步步骤1.备份 /etc/yum.repos.d/内所有文件[root@node01 mnt]# cd /etc/yum.repos.d/创建备份的文件夹 [root@node01 yum.repos.d]# mkdir bk [root@node01 yum.repos.d]# mv * bk步...
2019-10-29 17:20:58
1184
原创 介绍一下什么是大数据
一、 什么是大数据?大数据:指指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据。二、大数据的特点1、海量化（Volume）数据量从TB到PB级别2、多样化（Variety）数据类型复杂，超过80%的数据是非结构化的3、快速化（Velocity)数据量在持续增加(两位数的年增长率)数据的处理速度要求高4、高价值（Value）在海量多样数据的快速分析下能够发挥出更...
2019-10-25 16:06:14
3635
原创 Linux定时任务
命令1. crontab -e 编辑2. crontab -l 查看3. crontab -r 删除所有定时任务命令(慎用)* * * * * * 操作命令*一小时内的第一分钟(0-59)*一天内的第一个小时(0-23)*一个月内的第几天(1-31)*一年内第几个月(1-12)*星期几(0-7)总结:定时任务...
2019-10-23 12:00:58
717
原创 Linux挂载iso文件
方式一通过vm虚拟软件"设置"->>cd/dvd ->>设置ISO映像.选中 '‘开机连接’'和"已连接"创建一个iso挂载的目录 mkdir /mnt/cdromlsblk -f sr0 iso9660 CentOS_6.9_Final执行挂载命令 :mount /dev/sr0 /mnt/cdrom[root@node01 mnt]# moun...
2019-10-17 21:31:22
1642
原创 将一个新硬盘能够挂载到linux 系统上（开机自动挂载）
第一步 查看当前系统磁盘挂载查看系统硬盘挂载情况: lsblk -fsda├─sda1 ext4 / 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot├─sda2 ext4 fe1d0eea-50ea-4d44-853b-1c39e5129021 /├─sda3 ext4 ...
2019-10-16 20:43:30
872
原创 linux对文件的操作
1.0文件目录的创建/删除touch [文件名] touch 如果文件不存在, 新建文件mkdir [目录名] make directory 创建目录mkdir -p dir1/dir2/dir3 创建层级目录rm [文件名] remove 删除指定的文件名2.0文件夹的增删改查命令操作创建文件夹的命令格式：mkdir 目录名mkdir -p 目录名1/目录名2/目录名3(嵌套)...
2019-10-15 20:17:35
693
原创 如何创建Linux虚拟机
1.启动虚拟机，点击“创建新的虚拟机”裸机2.点击创建虚拟机3.选择自定义4.在下拉列表中选择图中选项5.选择稍后安装操作系统6.选择Linux7.虚拟机名称自定义最好不用中文,存放位置建议选择自己电脑中内存最大的盘8.处理器内核选择两个9.手动输入4096MB10.选择中间这项11.默认选择推荐控制器12.选择SCSI13.创建虚拟磁盘14.推荐选择...
2019-10-14 20:32:13
3204
1
原创 开启电脑虚拟化功能
一、查看笔记本是否支持虚拟化二、进入BIOS参考以下按键，开机时按住对应的键进入BIOS：组装机以主板分华硕按F8、Intel按F12,其他品牌按ESC、F11或F12；笔记本以品牌分联想ThinkPad系列按F1；其他品牌按F2；品牌台式机按品牌分，Dell按ESC；其他按F12；如果仍然不能进入BIOS，找找电脑（主板）说明书或者参考BIOS设置怎么进入图解教程。...
2019-10-14 10:44:00
2408
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人