大数据人工智能时代你跟上步伐了吗?(号称第四次技术革命)

大数据人工智能时代1.世界四次工业革命讲到大数据人工智能不得不提起世界著名改变时代的工业革命。大数据人工智能是继蒸汽机,电力,信息互联网后的第四次技术革命。著名的工业革命详情如下:第一次革命:18世纪60年代英国发起的蒸汽技术革命,以蒸汽机为代表。第二次革命:19世纪中期,以欧洲国家,美国,日本发...

2018-05-08 19:53:45

阅读数 2675

评论数 0

使用git上传本地文件到github(超级详细)

要想使用github第一步当然是注册github账号。注册成功之后,在页面上方用户菜单上选择 “+”->New repository 。创建一个新的仓库之后就可以创建仓库了(免费用户只能建公共仓库)。第二部是安装使用git。推荐自行学习浏览廖雪峰的官网(我成长的网站):htt...

2018-04-10 12:06:46

阅读数 848

评论数 0

HBASE三种模式环境搭建

解压HBASE的tar包并配置HBASE的环境变量 tar -zxvf hbase-1.3.1-bin.tar.gz -C /training/     设置环境变量  vi /etc/profile              HBASE_HOME=/root/training/hbase-1....

2018-09-19 21:03:33

阅读数 50

评论数 0

Linux网卡配置详解

Linux网卡配置文件详解: DEVICE=eth0 #指出设备名称 NM_CONTROLLED=yes #network mamager的参数,实时生效,不需要重启 ONBOOT=yes #设置为yes,开机自动启用网络连接 IPADDR=192.168.21.129 #IP地址 BOOTPR...

2018-09-11 21:23:53

阅读数 73

评论数 0

Hadoop基础认识之WordCount

 大数据的核心是分布式存储HDFS和分布式计算MapReduce!  其中分布式计算MapReduce最基础实例Wordcount如下所示:  依赖jar包       $HADOOP_HOME/share/hadoop/common       $HADOOP_HOME/share/hado...

2018-09-04 15:13:33

阅读数 41

评论数 0

HDFS操作命令

操作HDFS     1、通过Web Console: 50070、50090     2、命令行         (1)操作命令  hdfs dfs *****             -mkdir  创建目录                 举例:hdfs dfs -mkdir /aaa   ...

2018-08-30 19:20:49

阅读数 163

评论数 0

HDFS高级功能

HDFS的高级功能     1、回收站         补充:Oracle的回收站               恢复:闪回(flashback)                     (1) 闪回表  flashback table                     (2) 闪回删除  ...

2018-08-30 19:15:30

阅读数 53

评论数 0

Linux常见操作命令

Linux命令分类:1.内部命令    help 命令2.外部命令    命令 --helptype 命令   查看命令是内部还是外部命令mkdir -p  创建父目录mkdir -m 创建目录的同时设置权限  mkdir -m 744 test 文件系统补充:1. ll  或者   ls-ldr...

2018-06-28 01:17:12

阅读数 84

评论数 0

Hive基础命令使用详解

为了方便hdfs可视化网页查看,需要提前关闭防火墙:firewalld的基本使用启动: systemctl start firewalld.service查看状态: systemctl status firewalld.service禁止开机启动: systemctl disable firewa...

2018-06-24 21:29:22

阅读数 188

评论数 0

eclipse连接hadoop集群

1.首先需要启动hadoop集群,如下:2.hadoop集群的启动后的进程:3.关闭防火墙和查看防火墙状态。4.配置本机用户名:   环境变量下面添加如下所示。配置后需要重启电脑用户名才可以生效。5.添加链接需要的jar包:D:\LearningTool\eclipse\plugins  到该路径...

2018-06-15 01:20:45

阅读数 214

评论数 0

hive的安装

hive的安装需要依附在hadoop的环境中,hadoop伪分布式搭建参考:https://blog.csdn.net/cjdashuju_java/article/details/803022671.hive安装包下载https://hive.apache.org/downloads.html ...

2018-06-13 00:16:01

阅读数 188

评论数 0

hadoop伪分布式搭建详细步骤

伪分布式搭建(看了这个还搭建不出来伪分布式?根本不可能!)1.修改映射文件vi /etc/hosts在最末尾添加192.168.182.66(你自己的IP)master(自己主机名)2.上传jdk和hadoop的压缩包并解压tar -xvzf hadoop-2.7.1.tar.gztar -xvz...

2018-05-13 21:31:17

阅读数 261

评论数 0

centos7升级Python3版本后的yum问题

     现在Python这么火爆的年代,大家都在研究,我也就顺势看了一番。我用的Python3.5,但是对于centos7的系统自带Python2.7,所以需要建系统内部的Python2.7替换为Python3.5。替换网址可以为:https://blog.csdn.net/cjdashuju_...

2018-05-13 19:22:42

阅读数 1150

评论数 0

hive和hbase的通俗易懂的区别

1.区别(1)hive是构建在hadoop基础设施上的数据仓库,通过HQL(类似SQL语言)最终转化为MapReduce。        hbase是一种key/value系统,他运行在hdfs上,和hive不一样,hbase能够在数据库上实时运行,而不是运行MapReduce任务。(2)hive...

2018-05-03 09:45:06

阅读数 440

评论数 0

git常用命令总结git分支问题(三)

当Git无法自动合并分支时,就必须首先解决冲突。解决冲突后,再提交,合并完成。详细学习可浏览网站:廖雪峰哥Git官网1.用git log --graph命令可以看到分支合并图。git log --graph --pretty=oneline --abbrev-commitgit log --gra...

2018-04-25 20:41:39

阅读数 54

评论数 0

git常用命令总结详解git分支(二)

git分支1.创建dev分支,然后切换到dev分支:git checkout -b devgit checkout命令加上-b参数表示创建并切换,相当于以下两条命令:git branch dev (创建分支)git checkout dev (切换分支)2.查看当前分支git branchgit ...

2018-04-24 19:52:51

阅读数 73

评论数 0

Hadoop生态系统完整组件及其在架构中的作用

(1)Hadoop生态系统(2)、HDFS(Hadoop分布式文件系统)HDFS是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集...

2018-04-23 15:25:28

阅读数 2370

评论数 0

Hadoop,Spark和Storm三大分布式计算系统简介及比较

Hadoop,Spark和Storm由于Google没有开源Google分布式计算模型的技术实现,所以其他互联网公司只能根据Google三篇技术论文中的相关原理,搭建自己的分布式计算系统。Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统H...

2018-04-20 16:30:38

阅读数 354

评论数 0

使用xshell连接阿里云服务器登陆时密码框为灰色,无法输入密码解决办法

1.使用xshell登陆时,password灰色不能输入密码登录。2.解决办法如下:vi/etc/ssh/sshd_config修改最后一项为yes:PasswordAuthentication yes接着保存退出,然后重启sshd服务systemctl restart sshd.service然...

2018-04-13 17:39:02

阅读数 2619

评论数 0

git常用命令总结详解(一)

基础命令:创建demo文件夹,下面创建one.txt文件进入demo文件夹使用git init命令把这个目录变成Git可以管理的仓库:用命令git add one.txt告诉Git,把文件添加到仓库(暂存区)用命令git commit -m “first write”告诉Git,把文件提交到仓库(...

2018-04-12 12:20:50

阅读数 64

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭