2018年12月_3分钟秒懂大数据

12月 11月 10月 09月 08月 07月

原创上传本地文件到HDFS中(大数据学习2)

第一节hadoop集群搭建完成之后，现在测试是否能将本地文件上传到hadoop集群中。1) 在mini4虚拟机上创建一个文件 lyz1.txt 然后在里面编辑一段话保存2） hadoop fs -put lyz1.txt / fs 是打开客户端 -put 是上传本地文件到hdfs中3）打开网址查看是否已经...

2018-12-28 11:13:00 11731 3

原创 Spark集群搭建及配置

1. Spark集群安装1.1安装1.1.1机器部署准备四台Linux服务器，安装好JDK1.81.1.2下载Spark安装包进入官网http://spark.apache.org1.1.3上传安装包将下载好的 spark-2.4.0-bin-hadoop2.6.tgz 压缩包上传到linux 虚拟机上百度云网盘：...

2018-12-24 15:50:04 662

转载 Java程序员软件包

JDKjdk-8u77-windows-x64.exe http://pan.baidu.com/s/1jING4Km im8fjdk-8u65-linux-x64.tar.gz http://pan.baidu.com/s/1bpJ6do nqvpjdk-8u65-linux-i586.tar.gz http://pan.baidu.com/s/1eRmT99w 88mfjd...

2018-12-21 10:21:14 325

原创 SSH免密登录(大数据学习4)

在日常的工作中我们不免要在各种个linux服务器之前来回切换，即使现在的shell工具支持多选项卡控制多个shell那来回切换也是很麻烦的一件事，现在我来弄一个服务器间的相互免密操作1.Linux下生成密钥生成linux下的密钥要用到 ssh-keygen 命令，一般执行完这个命令公钥和私钥会生成到 .ssh 的隐藏目录。在执行这个命令之前我们先检查一下这个目录是否存在，因为有些...

2018-12-20 15:49:37 2165

原创 HADOOP集群搭建及配置(大数据学习1)

4.1 HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager(那mapred...

2018-12-19 14:45:32 1492

原创 nginx反向代理

接着本人博客里面的nginx 安装之后要进行反向代理请进行如下操作：1 打开xshell 登录你的ip ssh 192.168.63.178(请登录你的登录成功后显示：)2 cd /etc/init.d/ 进入如下目录 ls3 vi nginx 新建一个nginx 脚本粘贴如下脚本代码保存退出#!/bin/sh # chkconf...

2018-12-13 15:17:20 175

原创如何将本地项目上传到码云或者gitHub上

1，首先在码云上新建一个项目，如下图所示：2，本地新建一个文件夹3，进入新建的文件夹zgcy，点击鼠标右键，选择 git bash here 在窗口输入 git init 这时候文件夹会多出一个.git文件夹，看不到文件夹的，点击鼠标右键选择“显示不显示隐藏的文件”就可以看到这个文件夹了4，进入刚刚在码云新建的项目里，复制框框里的路径5，然后在...

2018-12-05 15:05:36 265

原创 vue.js安装与配置

我们在前端学习中，学会了HTML、CSS、JS之后一般会选择学习一些框架，比如Jquery、AngularJs等。这个系列的博文是针对于学习Vue.js的同学展开的。　　1.如何简单地使用Vue.js　　如同以前我们学过的Jquery一样，我们在程序中使用Vue.js时也可以使用直接引用的方法，直接下载并用<script>标签引入，Vue.js会被注册为一个全局变量。在这里...

2018-12-05 11:22:39 215

简介学习深度学习最重要的就是数据集啦。小编在刚开始学习深度学习的时候最头疼的一件事就是没有数据，徒有很多想法，但却无法实现，这里小编给大家介绍25个常用的深度学习开源数据集，这是从国外的一篇博客中看到的，参见https://www.analyticsvidhya.com/blog/2018/03/comprehensive-collection-deep-learning-datasets/。...

2018-12-03 11:51:00 677