自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

云计算大数据

专注于大数据电商行业研究

  • 博客(23)
  • 资源 (14)
  • 收藏
  • 关注

原创 检查Hadoop集群中HDFS数据的均衡程度

检查节点上数据的均衡程度最好的办法是使用 hdfs dfsadmin -report 命令,来检查数据的均衡程度,以确定均衡的频率,以下示例是显示如何检查集群中HDFS数据的均衡度:sudo -u hdfs hdfs dfsadmin -report | cat <(echo "Name: Total") - |grep '^\(Name\|Total\|DFS Used\)' | tr '\n' '\t' | sed -e 's/\(Name\)/\n\1/g' | sort --field-s

2020-05-18 15:18:18 117

原创 Hadoop3.1遇到的DataNode无法启动解决方案
原力计划

hadoop 2.6遇到的DataNode无法启动

2020-05-14 10:15:12 263

原创 磁盘容量监控

#!/bin/bashhost_ip=$(/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")storage_num1=$(df -h | grep -v Filesystem | grep -v 文件系统 | awk '{print $5,$6}' | awk ...

2020-03-23 14:22:32 107

原创 安装MySQL数据库

安装MySQL部署文档:https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/# yum -y install yum-utils# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm# yum-config-manager ...

2020-03-03 21:09:56 86

原创 Hortonworks Nodemanager启动但失败:连接拒绝:8042 解决方法

问题描述:Connection failed to http://10.171.31.40:8042/ws/v1/node/info (Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/YARN/package/alerts/alert_nodemanage...

2019-09-03 17:59:30 1870

原创 nginx 安装与下载

1、Nginx下载:nginx-1.13.0.tar.gz,下载到:/opt/softwares/$ wget http://nginx.org/download/nginx-1.13.0.tar.gz2、Nginx解压安装:$ tar -zxvf nginx-1.13.0.tar.gz -C ./3、预先安装$ yum -y install gcc gcc-c++ ncurses-...

2019-08-26 10:58:45 44

原创 第10节 document id的手动指定与自动生成两种方式解析

课程大纲1、手动指定document id2、自动生成document id1、手动指定document id(1)根据应用情况来说,是否满足手动指定document id的前提:一般来说,是从某些其他的系统中,导入一些数据到es时,会采取这种方式,就是使用系统中已有数据的唯一标识,作为es中document的id。举个例子,比如说,我们现在在开发一个电商网站,做搜索功能,或者是OA系...

2019-06-17 18:05:04 140

原创 第9节 初步解析document的核心元数据以及图解剖析index创建反例

课程大纲1、_index元数据2、_type元数据3、_id元数据{ "_index": "test_index", "_type": "test_type", "_id": "1", "_version": 1, "found": true, "_source": { "test_content": "test test" }}1、_index...

2019-06-17 16:12:38 59

原创 centos7.5 安装Elasticsearch7.1

安装环境一个多节点集群中,正常情况下应该包括以下3种类型的节点master节点维护元数据,管理集群各个节点状态,建议3台机器做masterdata节点负责数据的查询和导入的,压力较大,需要比master和client更高配置的机器client节点作为任务分发用的,它里面也会存元数据,但是它不会对元数据做任何修改。另 外它还分担了data节点压力,把data节点一...

2019-05-23 18:21:39 1914

原创 第8节 图解Elasticsearch容错机制:master选举,replica容错,数据恢复

课程大纲1、图解Elasticsearch容错机制:master选举,replica容错,数据恢复(1)9 shard,3 node(2)master node宕机,自动master选举,red(3)replica容错:新master将replica提升为primary shard,yellow(4)重启宕机node,master copy replica到该node,使用原有的shar...

2019-05-22 14:41:11 97

原创 第7节 图解横向扩容过程,如何超出扩容极限,以及如何提升容错性

课程大纲1、图解横向扩容过程,如何超出扩容极限,以及如何提升容错性(1)primary&replica自动负载均衡,6个shard,3 primary,3 replica(2)每个node有更少的shard,IO/CPU/Memory资源给每个shard分配更多,每个shard性能更好(3)扩容的极限,6个shard(3 primary,3 replica),最多扩容到6台机器,每...

2019-05-22 14:36:59 75

原创 第6节 图解2个node环境下replica shard是如何分配的

课程大纲1、图解2个node环境下replica shard是如何分配的(1)replica shard分配:3个primary shard,3个replica shard,1 node(2)primary —> replica同步(3)读请求:primary/replica...

2019-05-22 14:35:12 61

原创 第5节 shard&replica机制再次梳理以及单node环境中创建index图解

课程大纲1、shard&replica机制再次梳理2、图解单node环境下创建index是什么样子的1、shard&replica机制再次梳理(1)index包含多个shard(2)每个shard都是一个最小工作单元,承载部分数据,lucene实例,完整的建立索引和处理请求的能力(3)增减节点时,shard会自动在nodes中负载均衡(4)primary shard...

2019-05-22 14:28:24 105

原创 第4节 手工画图剖析Elasticsearch的基础分布式架构

课程大纲1、Elasticsearch对复杂分布式机制的透明隐藏特性2、Elasticsearch的垂直扩容与水平扩容3、增减或减少节点时的数据rebalance4、master节点5、节点对等的分布式架构1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统,分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制(我们之前随随...

2019-05-22 14:25:38 94

原创 第3节 快速入门案例实战之电商网站商品管理:多种搜索方式

第一个分析需求:计算每个tag下的商品数量GET /ecommerce/product/_search{ "aggs": { "group_by_tags": { "terms": { "field": "tags" } } }}将文本field的fielddata属性设置为true PUT /ecommerce/_mapping/produc...

2019-05-22 14:23:13 78

原创 第2节 快速入门案例实战之电商网站商品管理:集群健康检查,文档CRUD

课程大纲1、document数据格式2、电商网站商品管理案例:背景介绍3、简单的集群管理4、商品的CRUD操作(document CRUD操作)1、document数据格式面向文档的搜索分析引擎(1)应用系统的数据结构都是面向对象的,复杂的(2)对象数据存储到数据库中,只能拆解开来,变为扁平的多张表,每次查询的时候还得还原回对象格式,相当麻烦(3)ES是面向文档的,文档中存储的...

2019-05-22 14:18:07 69

原创 第1节:Elasticsearch核心概念:NRT、索引、分片、副本等

1、lucene和elasticsearch的前世今生2、elasticsearch的核心概念3、elasticsearch核心概念 vs. 数据库核心概念

2019-05-22 13:57:16 106

原创 CentOS7.6 编译安装 Python3.6.8

我使用的是 CentOS7.6 安装 Python3.6.8使用 python -V 命令查看一下是否安装 Python:[root@atguigu3 tools]# python -VPython 2.7.5然后查看一下 Python 可执行文件的位置:[root@atguigu3 tools]# which python/usr/bin/python进入到bin目录:#cd...

2019-03-27 14:53:39 695

原创 Jenkins安装和配置

1.安装Jenkins配置管理安装Jenkins前的环境准备(centos7)a)填加yum仓库源通过wget方式下载jenkins的安装包# wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo# rpm --import http://pkg.jen...

2019-03-24 21:52:46 123

原创 Ansible配合virtualenv安装配置

1.关闭系统防火墙systemctl stop firewalldsystemctl disable firewalld

2019-03-22 11:49:13 461 1

原创 Gitlab安装(带SSL证书)

Gitlab安装和配置管理安装omnibus Gitlab-paceage#yum -y install curl policycoreutils openssh-server openssh-clients postfix配置Yum仓库#curl -Ss https://packages.gitlab.com/install/repositories/gitlab/gitlab-...

2019-03-21 10:50:49 2144

原创 Centos7.5安装Ambari2.6.1+HDP2.6.4搭建Hadoop集群

1.1 版本说明软件 版本CentOS Linux release 7.5.1804 (Core)jdk jdk-8u112-linux-x64.tar.gzAmbari ambari-2.6.1.0-centos7.tar.gzHDP HDP-2.6.4.0-centos7-rpm.tar.gzHDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz1...

2018-10-08 17:59:49 720

转载 基于Hadoop生态圈的数据仓库实践(一)

二、在Hadoop上实现数据仓库 (大部分翻译自《Big Data Warehousing》) 数据仓库技术出现很长时间了,现在为什么要从传统数据库工具转为使用Hadoop呢?答案就是最引人关注的流行词汇 —— 大数据。对许多组织来说,传统关系数据库已经不能够经济地处理他们所面临的数据量。而Hadoop生态圈就是为了能够廉价处理大量数据的目的应运而生的。下面看看大数据是怎么定义...

2018-06-29 22:17:50 3685

PADS9.5实战攻略与高速PCB设计-完整版

定位嵌入式服务提供商,专业嵌入式ARM开发板商城,承接各种嵌入式外包项目,提供嵌入式培训,提供方案设计,项目预研指导,提供技术支持服务,涉及操作系统平台包括Linux、Android、Windows CE 5.0/6.0、Windows Mobile 5.0/6.0等;硬件平台:Exynos4412/S5PV210/S3C6410/S3C2440/S3C2416等。 主营嵌入式开发板,包括: ARM9系列:飞凌OK2440/FL2440/TE2440,天嵌TQ2440,广嵌GEC2440开发板 ARM11系列:飞凌OK6410/FL6410,友坚恒天idea6410/UT-6410 S5PV210系列:天嵌TQ210,粤嵌培训开发板GEC210 Cortex-M3系列:STM32开发板 嵌入式开发仿真器:JLink、OpenJTAG和USB转串口线

2014-08-23

S3C2416开发板linux开发完全手册

S3C2416 linux uboot开发 定位嵌入式服务提供商,专业嵌入式ARM开发板商城,承接各种嵌入式外包项目,提供嵌入式培训,提供方案设计,项目预研指导,提供技术支持服务,涉及操作系统平台包括Linux、Android、Windows CE 5.0/6.0、Windows Mobile 5.0/6.0等;硬件平台:S3C6410/S3C2440/S3C2410、TI OMAP 3530、PXA270、EP9315、i.MX21、i.MX31等。 主营嵌入式开发板,包括: ARM9系列:飞凌OK2440/FL2440/TE2440,天嵌TQ2440,广嵌GEC2440开发板 ARM11系列:飞凌OK6410/FL6410,友坚恒天idea6410/UT-6410 S5PV210系列:天嵌TQ210,粤嵌培训开发板GEC210 Cortex-M3系列:STM32开发板 嵌入式开发仿真器:JLink、OpenJTAG和USB转串口线 以及各种嵌入式开发配件,欢迎广大客户来电咨询、洽谈! 深圳雨露电子商城 电话: 13005839062 QQ: 1056339680 Email:1056339680@qq.com 网址:http://linuxdiy.taobao.com/

2014-03-26

JZ2440开发板JLINK使用手册

JZ2440开发板JLINK使用手册,可以烧写JZ2440开发板NORFLASH

2013-10-16

JZ2440开发板JLINk使用手册.pdf

JZ2440开发板JLINk使用手册.pdf

2013-06-09

应聘硬件工程师或研发类工作资料集锦_硬件工程师_电子工程师_嵌入式工程师_单片机_笔试题目_面试题目

应聘硬件工程师或研发类工作资料集锦_硬件工程师_电子工程师_嵌入式工程师_单片机_笔试题目_面试题目

2013-06-09

GQ2440用户手册

这是我个人在国嵌买的2440板子的说明书。

2012-02-19

XC2440使用手册

本人买的XC2440开发板说明书,提供给各位网友参考参考

2012-02-15

XC2440 Uboot移植手册

XC2440 Uboot移植手册 可以作为Uboot移植的参考

2011-11-29

TQ2440Uboot移植完全开发手册

TQ2440的uboot完全开发手册,涵盖了uboot移植的各方面了

2011-10-15

尚硅谷K8S视频教程.txt

尚硅谷K8S视频,尚硅谷最新kubernetes教程,赶快下载学习吧,此时此刻不学习还干嘛?

2019-09-12

华为大数据平台详细手册

华为大数据平台详细手册 涵盖运维 开发 管理等内容 非常详细 超级实用的文档

2018-03-20

使用IDEA工具连接CDH集群里面的hive组件

IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用

2017-12-19

大数据集群cloudera CDH安装手册

大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用

2017-12-19

splunk语法

splunk语法是学习splunk的快速入门指导书 谁下载谁知道;更多详情请点击:linuxdiy.taobao.com

2015-09-08

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除