- 博客(83)
- 收藏
- 关注
RSS订阅原创 linux下安装mongodb3.2.22
1. Configure the package management system (yum).Configure the package management system (yum).Create a /etc/yum.repos.d/mongodb-org-3.2.repo file so that you can install MongoDB directly, using yum...
2020-02-02 15:09:58
728
原创 大数据实战课 - 生产预警平台01
https://blog.csdn.net/zhikanjiani/article/details/102702365第一章：项目背景背景：外资车载导航、硬件、传感器、GPS等等1、服务挂了，不能及时通知2、服务不能达到秒级通知，前两年基本都是分钟级别，5min左右3、对于一些即将出现的问题可以提前预知4、有效的扩展到实时计算、日志5、如MYSQL 、SQL的error、慢sql...
2020-01-30 18:21:59
301
原创 Node.js错误集合
1. Error: Cannot find module ‘gridfs-stream’npm install gridfs-streamhttps://www.npmjs.com/package/gridfs-stream2. Error: Cannot find module ‘mongoose’npm install mongoose --save
2020-01-30 18:20:51
164
原创 java: -source 1.6 中不支持switch 中存在字符串
项目的pom文件里面添加compile org.apache.maven.plugins maven-compiler-plugin 1.7 1.7
2019-12-29 19:57:50
399
原创 CDK+CDS部署及案例+邮件预警
1.CDK部署1.1.安装包下载地址：http://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcelhttp://archive.cloudera.com/kafka/parcels/4.1.0/KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1http:...
2019-12-27 00:05:53
1260
原创 CDH镜像&恢复&卸载
1.CDH镜像1.1.关闭CMS服务在cdh的web界面暂停Cluster 1在cdh的web界面暂停CMS1.2.关闭所有节点的agent[root@hadoop001 cdh5.16.1]# /opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent stopStopping cloudera-scm-agent:...
2019-12-24 16:49:39
429
原创 CDH5.16.1集群企业真正离线部署
一.准备工作1.离线部署主要分为三块a.MySQL离线部署b.CM离线部署c.Parcel文件离线源部署2.规划3.下载源CMhttp://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gzParcelhttp://archive.cloudera.com/cdh5/pa...
2019-12-23 01:50:28
436
原创 Flume TaildirSource 实现递归
下载源码flume-ng-1.6.0-cdh5.7.0-src.tar.gz修改源码打开 org.apache.flume.source.taildir.ReliableTaildirEventReader类找到 getMatchFiles 方法flume-ng-1.6.0-cdh5.7.0 源码编译https://blog.csdn.net/qq_38976805/article/d...
2019-11-30 11:14:12
332
原创 Kafka入门实践
1.Apache Kafka官网介绍http://kafka.apache.org发布 & 订阅: 类似于一个消息系统，读写流式的数据.处理: 编写可扩展的流处理应用程序，用于实时事件响应的场景。存储: 安全的将流式的数据存储在一个分布式，有副本备份，容错的集群。Kafka@用于构建实时的数据管道和流式的app.它可以水平扩展，高可用，速度快，并且已经运用在数千家公司的生产环境...
2019-10-26 18:51:49
281
转载 ln -s软链接删除方式及注意事项
首先我们先来创建一个文件#mkdir test_chk#touch test_chk/test.txt#vim test_chk/test.txt (这一步随便在这个test.txt里写点东东即可)下面我们来创建test_chk目录 的软链接#ln-s test_chk test_chk_ln软链接创建好了，我们来看看怎么删除它正确的删除方式（删除软链接，但不删除实际数据）...
2019-10-26 15:23:43
23588
5
原创 org.apache.kafka.common.KafkaException: Failed to acquire lock on file .lock in /home/hadoop/log/
一次启动卡夫卡服务的时候，报了org.apache.kafka.common.KafkaException: Failed to acquire lock on file .lock in /home/hadoop/log/kafka-logs. A Kafka instance in another process or thread is using this directory.这个错or...
2019-10-26 15:16:24
2231
原创 Scala03（包含如何写WordCount）
父类和子类new 子类() 会先触发 new 父类()子类 extends 父类object ExtendsApp { def main(args: Array[String]): Unit = { val youngPerson = new YoungPerson("dashu","beijing",200.0f) }}class YoungPerson(name:S...
2019-09-11 09:52:20
91
原创 Scala02
1.修饰变量用val、var在Scala里面，定义一个名称的东西只需要这两个就够了，不像Java等语言有很多修饰符：val varval修饰的是不可变的var修饰的是可变的val name:String = “zhangsan”定义了一个变量name，它的类型为String，它的值是zhangsan，这个变量的值不可改变如果用var修饰，就可以改变scala> val name...
2019-09-10 01:59:33
118
原创 Scala01
官网： https://www.scala-lang.org/key看出Scala有以下特点：面向对象编程函数式编程一种高级别语言基于JVMkey很方便的调用Java类工具类Java类 common-lang3学习Scala对于后面学习Spark、Flink、Kfk等很有帮助key跟其它语言互补，但是不一定就是说key代替其它语言Scala版本目前大致有如下这些：2....
2019-09-09 23:36:28
78
原创 zookeeper的Will not attempt to authenticate using SASL (无法定位登录配置)
解决方法：1.查看zookeeper是否启动成功的。2.查看防火墙端口是否开启。
2019-09-06 01:58:53
1984
原创 简单配置log4j
在resources下面创建一个文件log4j.properties加入如下：log4j.rootLogger=DEBUG,CONSOLE#DEBUG,CONSOLE,FILE,ROLLING_FILE,MAIL,DATABASE################### # Console Appender ################### log4j.appender.CONS...
2019-09-01 16:00:21
97
原创 Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException
Exception in thread “main” org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://ruozeclusterg7/ruozedata/wc/input问题：hadoop fs -mkdir -p /ruozedata/wc/input...
2019-09-01 14:05:33
3889
原创 盘点MapReudce在Windows上运行的坑
https://liverrrr.fun/archives/mapreduce_windows?tdsourcetag=s_pcqq_aiomsg
2019-09-01 00:41:20
148
原创 HDFS客户端的权限错误：Permission denied
搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。解决办法最终，总结下来解决办法大概有三种：1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自...
2019-08-27 09:45:28
1041
原创 Hadoop之常见压缩格式以及性能对比
https://blog.csdn.net/liweihope/article/details/89672763
2019-08-25 17:12:02
571
原创 HDFS脚本检测failover时，发送邮件预警
https://blog.csdn.net/qq_40337206/article/details/100051934https://blog.csdn.net/weixin_43975538/article/details/100051828
2019-08-25 17:02:11
107
原创 梳理ssh zk集群无法启动的原因
https://blog.csdn.net/weixin_44131414/article/details/100042456
2019-08-25 16:57:32
1211
原创 shell入门
1.入门后缀是.sh以#!/bin/bash开头只授予这个文件的所属者执行的权限chmod u+x wc.sh (u 代表用户. g 代表用户组. o 代表其他. a 代表所有)加-x可以debug[root@10-9-15-140 ~]# vi wc.sh#!/bin/bashecho "www.ruozedata.com"-rw-r--r-- 1 root root ...
2019-08-25 00:54:40
82
原创 断电导致HDFS 块损坏
1.现象:断电 导致HDFS服务不正常或者显示块损坏2.检查HDFS系统文件健康hdfs fsck /3.检查hdfs fsck -list-corruptfileblocksConnecting to namenode via http://hadoop36:50070/fsck?ugi=hdfs&listcorruptfileblocks=1&path=%2FThe...
2019-08-24 17:11:04
399
原创 HDFS和YARN HA部署
一、版本组件名版本备注及下载地址Centos7.2 64bitlsb_release -a查看操作系统版本 file /bin/ls查看操作系统位数JREjava version 1.8.45jdk-8u45-linux-x64.gzHadoophadoop-2.6.0-cdh5.15.1hadoop-2.6.0-cdh5.15.1.tar.gz...
2019-08-23 01:49:25
550
原创 创建阿里云主机ECS
1.选择云服务器ECS2.在自定义购买下选择相应的计费方式，地域，实例，镜像3.网络安全组4.系统配置5.确认订单并创建实例
2019-08-21 01:11:45
202
原创 HDFS HA
1.hdfs ha架构图梳理HA使用active NN, standby NN两个节点解决单点问题。两个NN节点通过JN集群，共享状态，通过ZKFC选举active，监控状态，自动备援。DN会同时向两个NN节点发送心跳。HDFS 集群介绍hdfs采用master-slave架构。集群中主要由NameNode、DataNode、Secondary NameNode、fsimage、edi...
2019-08-20 00:30:43
194
原创 FastStone Capture 8.9 注册机/注册码
FastStone Capture 是一个功能强大，轻量级但功能齐全的屏幕捕获工具，可让您轻松捕获和注释屏幕上的任何内容，包括窗口，对象，菜单，全屏，矩形/徒手区域，甚至滚动窗口/网页。 它还允许您将屏幕活动和声音录制到视频文件中。FastStone Capture 8.9 portable(便携版)官方下载链接：http://www.faststonesoft.net/DN/FSCapture...
2019-08-18 20:08:27
1803
2
原创 Git（八）IDEA与git生产结合使用
1.GitHub1.1从远程仓库导入项目找到刚才下载的库2.常用操作2.1添加文件新建的时候会有如下图所示提示，是否子栋将新建的内容执行add操作新建完成的文件会呈现红色如下图添加到暂存区点击Add之后，文件名会变成绿色提交到本地仓库提交完成之后会变成黑色2.2修改文件已经提交过的文件被修改之后，文件名会变成蓝色修改之后提交2.3查...
2019-08-11 19:28:57
112
原创 Git（七）分支管理
1.创建合并分支概述在我们每次的提交，Git都把它们串成一条时间线，这条时间线就是一个分支。截止到目前，只有一条时间线，在Git里，这个分支叫主分支，即master分支。HEAD指针严格来说不是指向提交，而是指向master，master才是指向提交的。一开始的时候，master分支是一条线，Git用master指向最新的提交，再用HEAD指向master，就能确定当前分支，以及当前分支的提交...
2019-08-10 01:27:27
98
原创 Git（六）远程仓库
1.GitHub远程仓库1.1首先你得在github上创建一个账号，然后在github上创建一个仓库：登录成功之后点击首页右上边的，New按钮（如下图所示）页面跳转到新建仓库的页面根据上图提示，填完仓库名字之后点击Create repository 按钮创建仓库，页面跳转到仓库首页。在仓库的首页 可以看到，Github支持两种同步方式“https”和“ssh”。如果使用https很...
2019-08-08 02:01:28
122
原创 Git（五）基本操作
1.创建版本库什么是版本库呢？版本库又名仓库，英文名repository，你可以简单理解成一个目录，这个目录里面的所有文件都可以被Git管理起来，每个文件的修改、删除，Git都能跟踪，以便任何时刻都可以追踪历史，或者在将来某个时刻可以“还原”。由于git是分布式版本管理工具，所以git在不需要联网的情况下也具有完整的版本管理能力。创建一个版本库非常简单，可以使用git bash也可以使用tor...
2019-08-07 23:57:08
131
原创 Git（四）安装
最早 Git 是在 Linux 上开发的，很长一段时间内，Git 也只能在 Linux 和 Unix系统上跑。不过，慢慢地有人把它移植到了 Windows 上。现在，Git 可以在 Linux、Unix、Mac 和 Windows 这几大平台上正常运行了。由于开发机大多数情况都是windows，所以本文只讲解 windows 下的 git 的安装及使用。1、下载官网地址：https://git...
2019-08-07 22:59:31
66
原创 Git（三）工作流程
从远程仓库中克隆 Git 资源作为本地仓库。从本地仓库中 checkout 代码然后进行代码修改在提交前先将代码提交到暂存区。提交修改。提交到本地仓库。本地仓库中保存修改的各个历史版本。在修改完成后，需要和团队成员共享代码时，可以将代码 push 到远程仓库。...
2019-08-07 22:48:42
54
原创 Git（二）与 SVN 对比
1、SVNSVN 是集中式版本控制系统，版本库是集中放在中央服务器的，而干活的时候，用的都是自己的电脑，所以首先要从中央服务器哪里得到最新的版本，然后干活，干完后，需要把自己做完的活推送到中央服务器。集中式版本控制系统是必须联网才能工作，如果在局域网还可以，带宽够大，速度够快，如果在互联网下，如果网速慢的话，就郁闷了。下图就是标准的集中式版本控制工具管理方式：集中管理方式在一定程度上看到其...
2019-08-07 22:46:32
81
原创 Git（一）历史
Linux 内核开源项目有着为数众广的参与者。绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上（1991－2002 年间）。到 2002年，Linux 系统已经发展了十年了，代码库之大让 Linus 很难继续通过手工方式管理了，于是整个项目组开始启用分布式版本控制系统 BitKeeper 来管理和维护代码。到 2005 年的时候，开发 BitKeeper 的商业...
2019-08-06 00:32:54
77
原创 解决linux mysql命令 bash: mysql: command not found 的方法
linux上运行mysql登录报错：[root@10-9-15-140 ~]# mysql~ bash: mysql: command not found首先得知道mysql命令或mysqladmin命令的完整路径比如mysql的路径是：/usr/local/mysql/bin/mysql，我们则可以这样执行命令：[root@10-9-15-140 ~]# ln -s /usr/l...
2019-08-03 10:47:40
921
原创 Hive（六）生产上完成TopN统计
现有城市信息和产品信息两张表在MySQL中，另外有用户点击产品日志以文本形式存在hdfs上，现要求统计每个个城市区域下点击量前三的产品名，具体信息见下方。DROP TABLE city_info;CREATE TABLE city_info ( city_id int DEFAULT NULL, city_name varchar(255) DEFAULT NULL, area v...
2019-07-31 01:39:47
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人