大数据 | BigData
木禾大人
慢慢进步
展开
-
hadoop单机安装,小白上手最详细教程-Ali0th
Author : Ali0th Date : 2019-4-6 前言 最近上手大数据,入门一下hadoop,单机部署撸了几天,终于部署起来了,遇到了不少坑。这篇文章把我整个过程码下来了,包括了各个步骤和报错处理。 文章目录前言环境系统服务hostname 配置ssh 免密登录java 安装hadoop 下载与相关环境配置hadoop 配置与启动dfs 启动全部启动报错与解决资料 环境 Cent...原创 2019-04-06 21:56:28 · 1750 阅读 · 0 评论 -
hadoop 超详细集群部署过程-Ali0th
Author : Ali0th Date : 2019-4-22 经过上一篇部署单机 hadoop 之后,开始尝试部署 hadoop 集群。hadoop集群最少需要三台机,因为hdfs副本数最少为3。这里我们使用四台机子进行搭建。 本文尽求详尽,包括所有步骤与问题的解决。可见目录,有对遇到的bug的一些解决方法。可以看到我是如何踩坑过来的。 0.1. 目录 文章目录0.1. 目录0.2. 环境...原创 2019-04-22 21:00:58 · 285 阅读 · 0 评论 -
mysql到elasticsearch数据迁移踩坑实践-Ali0th
Author : Ali0th Date : 20190514 最近用go语言写了个爬虫,爬了几百万条数据,存在 mysql 里,数据量较大,一个表就一两G的程度(mysql表一般不要超过2G)。 使用查询语句非常之慢,而且我要经常使用到"LIKE",一条语句返回结果耗时 10~30 秒,这可不行。所以决定把数据迁移到 ES。真的是踩坑了,本来只想简单搞搞,结果搞了好多天。 本文章介绍两种迁...原创 2019-05-21 13:59:09 · 810 阅读 · 0 评论