- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop完全分布式集群搭建
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言Hadoop集群完全分布式搭建步骤：1、准备三台虚拟机 2、配置linux系统环境（见之前博客） 3、安装jdk和hadoop 4、修改hadoop配置参数 5、单点启动服务 6、配置ssh免密登陆 7、群起hadoop集群并测试一、Hadoop集群搭建规划HDFS：NameNode、Data...
2020-12-08 11:16:14
249
原创 SSH免密登陆详解
SSH免密登录当我们用一台服务器登录另一台服务器可直接使用SSH协议进行登陆具体格式：ssh [用户名]@[IP] ssh [email protected] 也可以直接远程传送文件到另一台服务器具体格式：scp [文件名] [目标服务器用户名]@[目标服务器IP] : [目标复制位置]例如：scp test.txt [email protected]:/homescp -r [文件夹名][目标服务器用户名]@[目标服务器IP] : [目标复制位置]远程拷贝的.
2020-11-25 15:21:03
313
2
原创 大数据-linux环境搭建
一、虚拟机安装VMware虚拟机下载地址：https://pan.baidu.com/s/1gXspKov4RC_kHnhdYqcZlQ提取码：8nqy二、Linux操作系统安装1.引入库代码如下（示例）：import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ig..
2020-10-23 17:06:45
1113
1
原创 VMware虚拟机上安装linux（CentOS 7）
安装步骤 打开虚拟机，点击新建虚拟机 直接下一步 稍后安装操作系统 选择安装的操作系统和版本 定义虚拟机名称和选择安装位置 选择CPU的数量和核数 选择内存大小 这里选择NET模式 默认 默认 创建新的虚拟磁盘 我这里选择存储为单个文件，也可以存储成多个文件 磁盘文件名 完成即可，之后添加操作系统镜像文件 编辑虚拟机设置 开机..
2020-10-23 14:36:46
341
1
原创 Hadoop起源发展与概述
前言Hadoop不是历史上第一个用于数据存储和分析的分布式系统，但hadoop发展壮大到今天必然有它过人的特性。接下来就探讨下Hadoop的相关知识。一、Hadoop是什么？Hadoop是一个对海量数据存储和海量数据分析计算的分布式系统。从hadoop最初的原型来看，hadoop已经远远超过了本身的批处理。从广义上来说，hadoop现在可以是指更广泛的一个hadoop生态了，而不仅仅是HDFS，MapReduce和Yarn。例如Hive，Hbase，Flume，Sqoop等等项目都属于这个生
2020-10-22 14:27:25
4176
原创 初识大数据
目录前言一、数据时代二、数据的存储与分析1.数据存储2.数据分析总结前言仅以此来记录大数据的学习内容和心得，我会以一种发散式的方式去学习大数据知识点。我会不停的提问题，通过解决这些问题去了解深究大数据的更多的知识点。欢迎志同道合的朋友一起讨论一起提问。一、数据时代马爸爸几年前就已经提出了DT数据时代，现在，不用我多说大家应该可以深切的感受到数据的便捷和魅力了。相信未来数据可能会主导人类更多的方向。现在全球每天产生的数据量达到了EB级别，面对这么大的数据量，我们需要
2020-10-20 10:09:26
120
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人