- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 CRF++ 条件随机场训练，Anaconda的centos环境搭建
一、安装Anaconda环境（最好到官网下载最新版本）1、查看系统的类型：file /sbin/init （查看系统是32位的，还是64位的，本人是32位的）2、下载安装包，并上传，比如：Anaconda3-5.2.0-Linux-x86.sh3、安装命令：bash Anaconda3-5.2.0-Linux-x86.sh4、配置环境变量：vi /root/.bashrc如图：...
2018-09-21 16:19:58
600
原创 kylin的Cube构建原理及优化
Kylin的Cube构建原理cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图然后根据落地中间表的数据生成cube逐层构建算法：一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
2021-05-21 13:38:01
1358
原创 spark算子解析
spark算子总体上分为两类，transformations（转换算子）和actions(行动算子）1、transformations（转换算子）1.1Value类型1.1.1map(func):返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成scala> var source=sc.parallelize(1 to 10)source: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[9] at pa
2021-03-25 18:15:21
384
原创 kafka面试高频问题
1、如何保证kafka不丢数据 生产端：ACK设置为-1，at_lest_onceAck=0，相当于异步发送，消息发送完毕即offset增加，继续生产。Ack=1，leader收到leader replica 对一个消息的接受ack才增加offset，然后继续生产。Ack=-1，leader收到所有replica 对一个消息的接受ack才增加offset，然后继续生产。 消费端：设置成手动提交，手动提交offset，也就是当前业务都处理完成的时候，再提交offset，这样会...
2021-03-02 17:03:13
124
原创 spark 配置history server,集中查看所有application的日志
1、配置spark-defaults.conf增加如下配置：spark.yarn.historyServer.address=phadoop102:18080spark.history.ui.port=18080spark.eventLog.enabled truespark.eventLog.dir hdfs://phadoop102:9000/historyserverforSpark2、配置spark-env.sh增加如下配置：SPARK_HISTORY_OPTS...
2021-02-26 16:57:55
720
原创 HIVE 注释乱码的解决方案
自己搭建环境，hive的元数据是保存在mysql中，而hive中的注释乱码，主要是因为mysql中字符集不对导致的用到注释的就三个地方，表、分区、视图修改步骤如下，登录到mysql中1、进入metastore2、修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALU..
2021-02-19 09:57:16
187
原创 JDOM对xml的解析
sample.xml如下： 8G 200 1580 100G 500 3000 解析类sample.java:package jdom.sample;import java.io.IOException;import java.util
2012-08-06 17:00:41
319
原创 servlet+jsp+jdbc简单登录系统
dao：package com.cn.song.DAO.Impl;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import com.cn.song.DAO.UserDao;import com.cn.song.pojo.User;
2012-07-29 18:32:57
571
原创 jsp实现的简单注册登录
register.jspString path = request.getContextPath();String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";%> "> My J
2012-07-29 18:32:19
758
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人