自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 开发环境搭建

目录1、安装虚拟机2、Java环境变量配置3、python正文1、安装虚拟机安装详细说明:http://www.downcc.com/soft/406239.html2、Java环境变量配置下载https://www.oracle.com/java解压tar -zxvf jdk-8u211-linux-x64.tar.gz配置环境变量 vim...

2020-03-15 22:38:33 198

原创 Linux常见应用管理

目录1、防火墙状态管理2、同步网络时间3、使用软连接4、安装telnet5、安装 rz、sz正文1、防火墙状态管理启动: systemctl start firewalld关闭: systemctl stop firewalld查看状态: systemctl status firewalld开机禁用 : systemctl disable firewalld...

2020-03-15 15:51:43 307

原创 Linux下MySQL下载及安装

1、下载查看服务器版本,下载对应32/64位的mysql。cat /proc/version官方网站:https://dev.mysql.com/downloads/mysql/5.7.html#downloads 国内源(清华镜像):https://mirror.tuna.tsinghua.edu.cn/mysql/downloads/MySQL-5.7/mysql-5....

2020-03-15 15:31:04 536 1

转载 OCR文字识别:Tesseract-4.00训练字库

由于tesseract的中文语言包“chi_sim”对中文手写字体或者环境比较复杂的图片,识别正确率不高,因此需要针对特定情况用自己的样本进行训练,提高识别率,通过训练,也可以形成自己的语言库。步骤:1、工具准备:(1)官方文档:https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesseract-4.00...

2020-01-14 16:53:05 1365 1

原创 python数据源管理

说明:主要实现python数据源连接池管理工具,可高效的操作各类数据源:Elasticsearch、Mysql、Redis等。1、Python操作Elasticsearchfrom elasticsearch6 import Elasticsearch, helpersdef singleton(cls): """ 单例模式 """ instan...

2019-08-15 13:28:29 430

转载 hbase数据增长磁盘空间不足问题

HBase落地到HDFS后磁盘空间急剧增长的解决场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException,于是ctrl+c取消了落地到HDFS.HDFS 一共有 3 个datanode....

2019-05-22 10:30:44 2438 1

原创 filebeat windows安装使用

                                                            说明:本例主要采集日志文件到kafka为例filebeat简述      Filebeat是一个日志文件托运工具,在服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)      Filebeat工作流程...

2018-08-06 15:06:38 3740

原创 flume介绍与配置案例

->使用(解压即用)安装Flume 下载 解压到~/app ...

2018-07-02 22:40:39 180

原创 kafka配置与使用

说明:三个节点kafka部署1.安装kafka:解压tar -zxvf kafka_2.12-1.0.02.配置环境变量:vim ~/.bash_profile(改完source一下)export KAFKA_HOME=/root/software/kafka_2.12-1.0.0export PATH=$PATH:$KAFKA_HOME/bin3.配置kafka文件:vim server.pro...

2018-07-02 22:24:20 251

原创 zookeeper分布式搭建

说明:三个节点部署1.安装:解压tar -zxvf zookeeper-3.4.62.加入环境变量:vim ~/.bash_profileexport ZOOKEEPER_HOME=/root/software/zookeeper-3.4.6export PATH=$PATH:$ZOOKEEPER_HOME/bin3.修改配置:zoo.cfgtickTime=2000initLimit=10syn...

2018-07-02 22:00:04 148

转载 Hbase原理

目录:一、Hbase介绍二、Hbase的Region三、Hbase的写逻辑四、Hbase的故障恢复五、Hbase的拆分和合并六、Hbase主键设计七、Hbase预分区--------------------一、Hbase介绍1、Hbase简介Hbase是Hadoop Database的简称 ,Hbase项目是由Powerset公司的Chad Walters和Jim Kelleman在2006年末发...

2018-06-22 22:18:57 1823

原创 Hadoop原理(HDFS+MR+YARN)

一、HDFS原理1->HDFS 架构HDFS是一个分布式文件系统。一个HDFS集群主要由一个 NameNode ,一个Secondary NameNode 和多个 Datanode 组成:Namenode管理文件系统的元数据,Datanode存储数据。2->HDFS各个节点的功能NameNode:Master节点,是领导。管理数据块映射;处理客户端的读写请求;监控nanmenode的健...

2018-06-22 21:20:28 2001

原创 hadoop安装与配置(本地模式)

hadoop版本:hadoop-2.7.2虚拟机安装前期配置:IP地址、IP与主机映射、关闭防火墙一、安装java jdk   1、下载java jdk1.8版本,放在/home/software目录下,   2、解压:tar -zxvf java-jdk*****.jar   3、vim ~/.bash_profile12345#添加export JAVA_HOME=root/app/jdk1....

2018-06-22 08:18:40 1203

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除