2020年10月_Drgom

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 androidstudio的‘\ufeff‘错误

我的编码修改为控制台的编码修改为

2020-10-27 23:02:26 229

原创 ssh启动zookeeper失败的集群修改后的启动脚本

不知道用ssh命令启动不了zookeeper集群所以我干脆改用两个脚本启动zookeeper在此处使用启动脚本a启动zookeeper的启动脚本b#!/bin/shfor host in hadoop01 hadoop02 hadoop03do ssh $host "source /etc/profile; sh /root/xcall1.sh"done此处是zookeeper的启动脚本的启动脚本b#!/bin/shfor host in hadoop01 hadoop02 hadoo

2020-10-25 17:21:08 96

原创 Grade配置阿里云的镜像

// Top-level build file where you can add configuration options common to all sub-projects/modules.buildscript { repositories { maven { url 'http://maven.aliyun.com/nexus/content/groups/public/' } maven{ url 'http://maven.aliyun.com/ne

2020-10-22 20:29:51 446

原创 flume的SinkProcessor

-----------------------hadoop01--agent1------------------#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1 k2a1.channels = c1a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2#a1.sinkgroups.g1.processor.type = failover#a1.sink

2020-10-13 21:38:19 386

原创 flume的多agent场景

常用组件①avrosource：监听一个avro的端口，从另一个avro客户端接受event!必须配置：type – The component type name, needs to be avrobind – hostname or IP address to listen onport – Port # to bind to②avrosink：将event转为avro格式的event，发送给指定的主机和端口必须配置：type – The component type name,

2020-10-13 14:04:07 427

原创 Taildirsource采集日志

Taildirsource采用的是正则表达式，不可随意修改名字否则回出现重复采集问题1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=TAILDIRa1.sources.r1.filegroups=f1 f2 f3a1.sources.r1.filegroups.f1=/root/flume/01a1.so

2020-10-12 20:48:03 226

原创 flume监控实战3-spoolingDirsource监控文件目录

spoolingDirsource是安全的，不会丢失数据，但采集文件时不可以被修改，且文件不能重名#a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔a1.sources = r1a1.sinks = k1a1.channels = c1#组名名.属性名=属性值a1.sources.r1.type=spooldira1.sources.r1.spoolDir=/root/flume#定义chanela1.channels.c1.type=memory

2020-10-12 20:19:24 405

原创 flume监控练习二-Execsource 监控hive日志

要点：1.linux上必须有hadoop，并已经启动起来，因为使用的是hadfsink2.在a2.sources.r2.command必须需要使用流式命令，如tail，cat，而不是如 date之类的a2.sources = r2a2.sinks = k2a2.channels = c2# Describe/configure the sourcea2.sources.r2.type = execa2.sources.r2.command = tail -F /export/serve

2020-10-07 17:04:35 170

原创 python数据分析与挖掘实战的混淆矩阵纠错

#-*- coding: utf-8 -*-#使用神经网络算法预测销量高低from keras.models import Sequentialfrom keras.layers.core import Dense, Activationimport pandas as pdfrom cmplot import *#参数初始化from numpy import shapefrom 决策树.data.cm_plot import cm_plotinputfile = 'D:/Pytho

2020-10-06 17:22:39 309

原创 Python读取多个execl表并提取合并为一个表

import osimport pandas as pdimport xlrdfrom numpy import shapei=1newlist = []for filename in os.listdir('../data/'): data=pd.read_excel("../data/"+filename) x,y = data.shape data.columns=list('abcd') print(data.columns) data["a"]=data["a"]

2020-10-06 11:22:04 630

原创 Python加速镜像

#清华镜像如安装 pymysqlpip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple

2020-10-03 13:51:05 182

原创 flume监控练习1-监控端口

mkdir jobcd job/vim flume-netcat-logger.conf# Name the components on this agenta1.sources = r1 a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# D

2020-10-02 12:49:48 84

原创 flume的安装配置

#解压到指定文件夹tar -zxf apache-flume-1.7.0-bin.tar.gz -C /export/servers/flume#修改flume目录下的conf配置文件mv flume-env.sh.template flume-env.sh#添加Java_Home路径(flume依赖java)#查找java路径echo $JAVA_HOME#修改配置文件vi flume-env.sh#添加配置export /export/servers/jdk...

2020-10-02 12:32:59 103