- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flume常用组件解析
flume常用组件解析flume常用组件解析Avro Sourceflume常用组件解析Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具数据流模型1.Event是Flume定义的一个数据流传输的最小单元。2.Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。3. 一个完整的Agent中包含了三个组件Source、Channel
2022-01-13 19:14:30
639
原创 kafka常用指令测试总结
1.各个节点启动zookeepermaster和从节点都要启动；[root@slave2 zookeeper-3.4.11]# ./bin/zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/local/src/zookeeper-3.4.11/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[root@slave2 zookeeper-3.4.11]# 2.
2021-12-23 22:26:25
1254
原创 expected identifier or ‘(’ before numeric constant 编译报错
编译碰到报错：expected identifier or ‘(’ before numeric constant分析定位原因：同事在头文件已经定义过，在main文件又重复定义导致 细节问题，尽量避免
2021-11-08 14:49:42
3617
原创 spark知识点总结一
spark知识点总结一数据库加载spark中配置读取hive数据1.每个用户平均购买订单的间隔周期2.每个用户的总订单数量（分组）3.每个用户购买的product商品去重后的集合数据4.每个用户总商品数量以及去重后的商品数量(distinct count)5.每个用户购买的平均每个订单的商品数量数据库加载hive中数据库查看：> show databases；> use zhouwf;> show tables;导入priors表为列：> create table
2021-10-27 22:09:49
210
原创 TypeError: ufunc ‘subtract‘ did not contain a loop with signature matching types dtype(‘＜U32‘) dtype
Traceback (most recent call last):<U9 File "F:/Logistic/logistic.py", line 44, in <module> print(gradAscent(dataArr, labelMat)) File "F:/Logistic/logistic.py", line 36, in gradAscent error = labelMat - hTypeError: ufunc 'subtract' di
2021-10-08 19:11:08
1216
原创 Logistic调试问题：TypeError: only size-1 arrays can be converted to Python scalars 解决方法
调试机器学习逻辑回归算法时，代码报错笔记：报错信息：File “F:/Logistic/logistic.py”, line 16, in sigmoidreturn 1.0 / (1 + math.exp(-inX))TypeError: only size-1 arrays can be converted to Python scalars原因追踪：import numpy as npdef sigmoid(inX): return 1.0 / (1 + np.exp(-inX)
2021-10-08 18:00:34
358
原创 Windows复制大文件夹命令笔记
Windows复制文件夹命令笔记项目需要复制两个盘符的大文件夹，查找相关复制指令，笔记备用：copy、xcopy是拷贝文件；move是移动文件；del是删除文件；rd是删除目录，删除文件夹及其里面的所有子目录和文件，用rd命令带/s /q参数；/A 仅复制有存档属性集的文件，但不更改属性。/M 仅复制有存档属性集的文件，并关闭存档属性。/D:m-d-y 复制在指定日期或指定日期以后更改的文件。如果没有提供日期，只复制那些源时间 比目标时间新的文件
2021-09-22 19:00:22
1401
原创 装饰器模式
装饰器模式1. 创建接口：2.创建实现接口的具体类创建圆形类创建矩形类3. 创建shape接口的装饰类4. 创建扩展功能的实体装饰类5. main函数运行测试6. 调试结果7. 参考研究Android的Context时，framework层设计使用了装饰器模式，复习一下装饰器模式：优点：可以动态的给对象添加功能，比生成子类更加灵活，创建装饰类，包装原有类，在保持原有类方法完整的情况下提供额外功能；缺点：包裹层数较多时，不好理解和管理，没有继承结构清晰使用场景：1、扩展一个类的功能。 2、动态增
2021-07-08 19:36:11
84
原创 K近邻算法总结
K近邻算法总结1.特征值数据集2. 数据处理2.1 shape2.2 title2.3 sum2.4 argsort3. 将数据集转换为特征值矩阵完整运行代码机器学习实战中K近领域算法优化约会网站配对结果1.特征值数据集第一列表示每年的飞行里程数第二列表示玩视频游戏所耗时间比第三列表示每周消费的冰淇淋公升数最后一列表示约会对象等级2. 数据处理def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0]
2021-06-28 20:34:26
98
原创 TypeError: ufunc ‘multiply‘ did not contain a loop with signature matching types dtype(‘＜U32‘) dtype
from numpy import *import operatordef createDataSet(): group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) labels = ['A', 'A', 'B', 'B'] return group, labels# print(createDataSet())def classify0(inX, dataSet, labels, k): data
2021-06-26 11:47:45
2617
原创 K近邻算法ValueError: invalid literal for int() with base 10: ‘largeDoses‘
机器学习实战：K-近邻算法调试样例出现ValueError: invalid literal for int() with base 10: 'largeDoses’错误源码如下：解决方案：实测有效classsLabelVector.append(listFromLine[-1])
2021-06-24 18:13:06
309
6
原创 Caused by: ERROR XBM0A: The database directory ‘/root/metastore_db‘ exists.
at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:436) at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:788) at org.datanucleus.api.jdo.JDOPe.
2021-06-19 17:13:07
338
原创 利用线程池多线程解压文件提高解压效率
在解压大文件时，利用线程池多线程解压文件提高解压效率：private void decompress(String srcPath, String destPath) throws IOException { long start = System.currentTimeMillis(); this.zipFile = new ZipFile(srcPath); this.destPath = destPath; Enumeration<? extends ZipEntry> en
2021-06-15 15:06:24
570
原创 java解压文件夹到指定文件目录
有需求需要解压文件夹到指定目录，参考网络资料如下：实测可用package com.ktc.main.service;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.nio.charset.Charset;import java.util.Enumeration;import java.util.zip.Z
2021-06-13 21:02:09
1290
原创 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 23-24: ordinal not in range
编译过程报UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 23-24: ordinal not in range错误原因：安装python时默认的编码方式是ascii程序中出现非ascii编码，python解释器报这样的错：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position ，python解释器不能识别处理非ascii编码
2021-06-11 19:34:44
1935
5
原创 jira系统导出指定流程问题点
碰到要导出jira特定流程问题点的需求，备份如下图：1.找到导航问题==》搜索问题2.搜索问题栏目下选择对应项目分类；3. 导出选择的栏目
2021-06-09 18:50:21
572
1
原创 Linux常用编译指令总结
Linux常用编译指令总结1. nohup 不挂断运行命令2. touch 创建文件3.jobs -l 查看后台进程4. ps -ef5. find 路径 -name 文件名6.压缩解压缩命令7.文件长度8. kill 杀死进程9.关机重启10 top / who11. df /du参考文献1. nohup 不挂断运行命令①退出终端后不会影响程序的运行，用于在系统后台不挂断的执行命令②英文全称no hang up,nohup 命令，在默认情况下（非重定向时），会输出一个名叫 nohup.out 的
2021-05-31 20:22:48
2471
原创 Spark UDF实例详解
Spark UDF实例详解需求List:(1) 统计orders中produce的数量统计– 商品被购买的数据量hive : group by countspark:scala> val orders=sql(“select * from badou.orders”)scala> val products=sql(“select * from badou.products”)scala> val priors=sql(“select * from badou.priors”
2021-05-27 23:26:40
306
原创 Scala实现workcount
Spark实现workcount// select split(sentence,' ') re// from tmp1、使用scala实现wordCountscala> import scala.io.Sourcescala> val lines =Source.fromFile("/usr/local/src/badou_code/mr/mr_wc/The_Man_of_Property.txt").getLineslines: Iterator[String] = non-em
2021-05-26 19:52:59
241
原创 Scalca知识点总结
Scalca笔记总结1、变量定义：有两种val 和var2.数据类型3. 复合类型：列表List：元组tuple:集合set:映射map:4、scala函数：1、变量定义：有两种val 和varval 类似于Java中的final 变量，初始化之后不能再赋值；var类似java中的变量，可以在生命周期中多次赋值；与Java不同 的时类型声明在变量后面，用：分割，如果没有指定变量类型，编译器将会自动推断。val a:string = 'hello scala'注意：当val被声明为lazy时，
2021-05-26 19:22:39
245
原创 Hive常用函数总结二
Hive常用函数总结二一、累计计算串口函数1、sum(...) over(...)2018年每月的支付总额和当年累计支付总额2017-2018年每月的支付总额和当年累计支付总额2、avg(...) over(...)2018年每个月的近三个月移动平均支付金额3、语法总结二、分区排序串口函数row_number() over(...) / rank() over(....)/dense_rank()over(...)一、累计计算串口函数1、sum(…) over(…)计算截止某月、年的累计数值2018
2021-05-18 20:55:36
424
原创 HiveSQL常用技巧总结
HiveSQL常用技巧一、去重技巧 group by <-- distinct在2019年购买后又退款的用户二、聚合技巧--利用窗口函数grouping sets/cube/rollup1. grouping sets用户性别分布及每个性格的城市分布2. cube性别、城市、等级的各种组合的用户分布3. rollup同时计算出每个月的支付金额，以及每年的支付金额一、去重技巧 group by <-- distinct###取出user_trade表中全部支付用户原来写法：select d
2021-05-17 20:50:09
349
1
原创 hive表连接总结
Hive表连接总结inner join在2019年购买后又退款的用户在2017年和2018年都购买的用户在2017年、2018年和2019年都有交易的用户left join对表一和表二进行左连接：right join在user_list_1表中，但是不在user_list-2中的用户在2019年购买，但是没有退款的用户在2019年购买用户的学历分布在2017年和2018年都购买，但是没有在2019年购买的用户full join对表一和表二进行全连接user_list_1和user_list_2 所有的用户u
2021-05-17 19:52:22
1075
原创 Hive常用函数总结一
Hive常用函数总结1）1. select ..A.. from ..B.. where ..c..查看列名字段选出城市在北京，性别为女性的10名用户：查看交易表名desc：2. group bygroup by .. having..3. order by...5. 时间日期转换from_unixtime unix_timestamp把时间戳转换为日期6. data_diff data_add data_sub 计算日期间隔用户首次激活时间，与2019年5月1日的日期间隔7. 条件函数case wh
2021-05-15 17:51:57
283
原创 app is in background uid UidRecord错误
04-28 08:42:06.576 5425 5425 D AndroidRuntime: Shutting down VM04-28 08:42:06.578 5425 5425 E AndroidRuntime: FATAL EXCEPTION: main04-28 08:42:06.578 5425 5425 E AndroidRuntime: Process: jp.co.elmo.elmonote, PID: 542504-28 08:42:06.578 5425 5425
2021-05-08 16:46:53
7030
原创 隐马尔可夫模型总结
1.1 隐马尔可夫模型的基本概念定义：隐马尔可夫模型是一个关于时序的概率模型。描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态随机序列生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态的序列，成为状态序列；每个状态生成一个观测，由此产生的观测的随机序列称为观测序列；序列的每一个位置又可以看做是一个时刻；隐马尔可夫模型广泛用于语音识别、自然语言处理、生物信息、模式识别等领域；属于生成模型；1.2 隐马尔可夫模型可以归结为一个模型，两个假设，三个问题
2021-05-06 20:21:33
372
转载 JVM笔记总结
jvm的主要组成部分及其作用主要组成部分包括：类加载器classloader , 运行时数据区 Runtime Data Area, 执行引擎 Execution Engine ,本地库接口 Native Interface作用：首先通过类加载器（ClassLoader）会把 Java 代码转换成字节码，运行时数据区（Runtime Data Area）再把字节码加载到内存中，而字节码文件只是 JVM 的一套指令集规范，并不能直接交给底层操作系统去执行，因此需要特定的命令解析器执行引擎（Ex..
2021-04-27 19:20:10
54
原创 代理模式（JDK动态代理）
动态代理解决静态代理中，生成大量的代理类造成的冗余问题；JDK动态代理：基于Java反射机制实现，必须要实现了接口的业务类才能用这种办法生成代理对象。JDK Proxy 的优势：最小化依赖关系，减少依赖意味着简化开发和维护，JDK 本身的支持，可能比 cglib 更加可靠。平滑进行 JDK 版本升级，而字节码类库通常需要进行更新以保证在新版 Java 上能够使用。代码实现简单。代码示例演示：1.抽象主题package com.company.src;public interface
2021-04-08 20:16:13
96
原创 代理模式详解总结（静态代理）
代理模式的定义：由于某些原因需要给某对象提供一个代理以控制对该对象的访问。这时，访问对象不适合或者不能直接引用目标对象，代理对象作为访问对象和目标对象之间的中介。代理模式的主要优点有：代理模式在客户端与目标对象之间起到一个中介作用和保护目标对象的作用；代理对象可以扩展目标对象的功能；代理模式能将客户端与目标对象分离，在一定程度上降低了系统的耦合度，增加了程序的可扩展性其主要缺点是：代理模式会造成系统设计中类的数量增加在客户端和目标对象之间增加一个代理对象，会造成请求处理速度变慢；增加了系统的
2021-04-08 20:01:12
242
原创 策略模式详解总结
策略模式使用场景：当实现某一个功能存在多种算法或者策略，我们可以根据环境或者条件的不同选择不同的算法或者策略来完成该功能以去北京旅游为例，可以选择飞机、火车、汽车等几种交通工具；1.抽象策略类package com.company.src.StrategyTest;public interface GotoBeiJingStrategy { public void gotoStrategy();}2.具体策略类飞机package com.company.src.Strategy
2021-04-08 19:44:07
194
原创 建造者模式
当一个类的构造函数参数个数超过4个，而且这些参数有些是可选的参数，考虑使用构造者模式。该模式的主要优点如下：1.封装性好，构建和表示分离。2.扩展性好，各个具体的建造者相互独立，有利于系统的解耦。3.客户端不必知道产品内部组成的细节，建造者可以对创建过程逐步细化，而不对其它模块产生任何影响，便于控制细节风险。缺点如下：1.产品的组成部分必须相同，这限制了其使用范围。2.如果产品的内部变化复杂，如果产品内部发生变化，则建造者也要同步修改，维护成本较大。代码演示如下：第一步：构造目标类pac
2021-04-08 17:12:33
59
原创 抽象工厂模式
一、抽象工厂模式同工厂方法模式一样，也是由抽象工厂、具体工厂、抽象产品和具体产品等 4 个要素构成，但抽象工厂中方法个数不同，抽象产品的个数也不同。现在我们来分析其基本结构和实现方法。抽象工厂模式的主要角色如下。1.抽象工厂（Abstract Factory）：提供了创建产品的接口，它包含多个创建产品的方法 newProduct()，可以创建多个不同等级的产品。2.具体工厂（Concrete Factory）：主要是实现抽象工厂中的多个抽象方法，完成具体产品的创建。3.抽象产品（Product）：定
2021-04-01 20:51:15
180
原创 工厂方法模式
一、工厂方法模式的主要角色如下。1.抽象工厂（Abstract Factory）：提供了创建产品的接口，调用者通过它访问具体工厂的工厂 方法 newProduct() 来创建产品。2.具体工厂（ConcreteFactory）：主要是实现抽象工厂中的抽象方法，完成具体产品的创建。3.抽象产品（Product）：定义了产品的规范，描述了产品的主要特性和功能。4.具体产品（ConcreteProduct）：实现了抽象产品角色所定义的接口，由具体工厂来创建，它同具体工厂之间一一对应二、优
2021-03-30 21:16:15
455
原创 Hive笔记总结
1.新建数据库create database if not exists zwftest;2.创建表create table if not exists user_info (user_id string,user_name string,sex string,age int,city string,firstactivetime string,level int,extra1 string,extra2 map<string,string>)ro
2021-03-30 20:18:35
67
原创 简单工厂模式
一.简单工厂模式优点：1.工厂类包含必要的逻辑判断，可以决定在什么时候创建哪一个产品的实例。客户端可以免除直接创建产品对象的职责，很方便的创建出相应的产品。工厂和产品的职责区分明确。2.客户端无需知道所创建具体产品的类名，只需知道参数即可。3.可以引入配置文件，在不修改客户端代码的情况下更换和添加新的具体产品类。缺点：1.简单工厂模式的工厂类单一，负责所有产品的创建，职责过重，一旦异常，整个系统将受影响。且工厂类代码会非常臃肿，违背高聚合原则。2.使用简单工厂模式会增加系统中类的个数（引入新的
2021-03-27 16:50:36
102
原创 单例模式
java 单例模式5种写法学习整理饱汉模式(懒汉模式) 1 // 饱汉 2 // UnThreadSafe 3 public class Singleton1 { 4 private static Singleton1 singleton = null; 5 private Singleton1() { 6 } 7 public static Singleton1 getInstance() { 8 if (singleton == null) { 9
2021-03-27 15:44:58
73
原创 观察者模式
观察者（Observer）模式的定义：指多个对象间存在一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式，它是对象行为型模式。观察者模式是一种对象行为型模式，其主要优点如下。1.降低了目标与观察者之间的耦合关系，两者之间是抽象耦合关系。符合依赖倒置原则。2.目标与观察者之间建立了一套触发机制。主要缺点如下。1.目标与观察者之间的依赖关系并没有完全解除，而且有可能出现循环引用。2.当观察者对象很多时，通知的发布会
2021-03-27 15:26:55
59
原创 安装mysql报错信息mysql-community-common(x86-64))=5.7.9isneededbymysql-community-libs
安装mysql报错信息mysql-community-common(x86-64))=5.7.9isneededbymysql-community-libs解决：清除yum里所有mysql依赖包[root@hadoop mysql-5.7.16]# rpm -qa|grep mysql[root@hadoop mysql-5.7.16]# yum remove mysql-libs
2021-03-06 17:36:54
6335
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人