- 博客(53)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
转载 FinReport动态隔间运算
1、动态隔间运算入门说明首先提供一个公式,公式:“显示列[显示列的父列:偏移量]”。此时你不需要知道这个公式是什么意思,目前有个印象就行,通过下面的学习你就明白了。动态隔间运算类似于EXCEL表格中的公式运算,相当于你在某个单元格中输入“=…”这样的公式。定义不太好叙述,下面通过案例说明,更为直观。2、入门小案例首先,新建一个普通报表–>利用sql选择需要导入的数据集select strftime('%m',订购日期) as 月份,应付金额 from 订单where strftime('%
2020-11-30 14:29:49
2456
原创 kettle连接hive2报错
Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)Could not open client transport with JDBC Uri: jdbc:hive2://bigdata111:10001/test: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org
2021-08-27 16:36:53
944
原创 JAVA读取文件并替换文件中的内容
package control;import org.junit.Test;import java.io.*;import java.text.ParseException;import java.text.ParsePosition;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;public class qwe { public static void m
2021-08-11 17:34:41
2227
原创 Windows R语言(持续更新)
环境安装R 语言的开发环境本身具备了图形开发环境,这与其他很多工程语言是不同的,所以开发环境最好安装在为桌面个人计算机设计的操作系统上(如 Windows, macOS 或 Ubuntu 桌面版 等)。首先,我们需要下载 R 语言环境的安装包:Windows官方地址:https://cloud.r-project.org/bin/windows/base/USTC 镜像:https://mirrors.ustc.edu.cn/CRAN/bin/windows/base/TUNA 镜像:https
2021-02-26 16:29:55
1672
原创 Ambari搭建
1,配置说明节点:无硬性要求操作系统:CentOS-7内存:8GJDK:jdk1.8.0_151Mysql:5.7.23Ambari:2.7.1HDP:3.0.1Vmware:WorkStation 15.52,配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-ens32 (最后一个为网卡名称)(1)bootproto=static(2)onboot=yes(3)在最后加上几行,IP地址、子网掩码、网关、dns服务器重启服务s
2021-01-15 10:41:20
435
5
原创 集群配置(3台)
集群第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules 第三步: 更改网卡信息 (setup)vim /etc/sysconfig/network-scripts/ifcfg-eth0 第四步: 重启系统生效reboot三台机器 关闭防火墙# 查看防火墙的状态service iptables status# 启动防火墙服务service iptables start
2021-01-08 17:32:34
264
原创 Linux 安装JDK Tomcat Mysql
安装JDKjdk包链接:https://pan.baidu.com/s/1V_i_KCg9jMV8WujkLRgAnA 提取码:t0vz 第一步: 卸载linux系统 提供的jdk# 查询已安装的jdkrpm -qa | grep java# 将查询到的全部卸载rpm -e --nodeps 软件包名第二步: 上传按照包到 /export/soft , 解压到 /export/install# 1 创建保存软件包目录mkdir -p /export/soft/cd /expor
2021-01-08 17:00:34
165
原创 Linux配置yum源
本地yum源第一步 挂载 持有系统镜像的 光驱 请查看上一篇文章[镜像配置](https://blog.csdn.net/weixin_44524441/article/details/112365637)第二步: 备份默认yum源仓库# 切换到保存yum信息的目录cd /etc/yum.repos.d/# 备份所有的配置文件rename .repo .repo.bak * # 查看是否备份成功ll第三步: 新增本地yum源vi CentOS-Local.repo编辑内
2021-01-08 16:19:44
399
原创 Linux挂载
挂载硬盘第一步: 了解linux系统分区的原理-一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载第二步: 查看系统分区情况命令英文含义lsblk -flist block devices查看所有设备的挂载情况参数英文含义-ffile system文件系统第三步: 虚拟机 增加 硬盘模拟将买的硬盘插入到 服务器中选中 目标虚拟机
2021-01-08 15:52:51
119
原创 配置Linux系统网络
MAC地址需要详细记录(很关键)删除掉红色框内的内容将eth1 改为eth0(当前网卡编号)address 必须与前面的唯一标识相同,若不相同,需要将address改为和MAC相同保存退出设置网络设置前查看文件开始设置Static IP 自己定义IPNetmask 固定格式255.255.255.0Default gateway IP 子网掩码必须与下面的截图内的相同DNS 固定格式 8.8.8.8配置好后,保存退出设置完后查看文件红..
2021-01-08 14:41:57
126
原创 CentOS6系统安装
使用自定义空间步骤所有系统自定义布局必不可少得分区1 根分区 ‘/’2 引导分区 ‘/boot’3 交换分区 ‘/swap’大数据生产系统必不可少1 数据分区 ‘/mnt/disk*创建系统“swap分区”过程创建系统“数据分区”/mnt/disk1过程自定义分区结束系统安装完毕...
2021-01-08 14:16:40
85
原创 创建Linux模式虚拟机
标题CentOS-6.9提取链接:https://pan.baidu.com/s/1ovLqi5MdUyvdTwh7JRZEJg提取码:op9v
2021-01-08 13:53:41
108
原创 FineReport 连接 SQL Server
SQL Server 创建表create table stuinfo --创建学生信息stuinfo表( --创建列开始 sid int primary key, --sid 学生编号 类型int 主键 sname nchar(8) not null, --sname 学生姓名 类型nchar(8) 非空 saddress nvarchar(30), --saddress 学生地址 类型nvarchar(30) sclass int, --sclass 学生班级 类型int
2020-12-07 15:45:15
1609
原创 Kettle 连接 SQL Server
链接:https://pan.baidu.com/s/1UjEOZi6dLMlvPnK6Fbj6IQ提取码:7iho将jar包存储在kettle 的 lib 中,重启kettle 生效
2020-12-03 14:57:47
496
2
原创 SQL Server 下载 安装
https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads
2020-12-03 14:07:01
458
原创 学习Python第一天记录
赋值运算# 赋值运算# += -= *= \= %= **=a,b,c,d=23,18,10,3# a+=c# print(a)a**=2print(a)逻辑运算符# 逻辑运算符 and or not# and 条件比较严格# 定义四个变量a,b,c,d=23,18,10,3print(a + b > c and c < d)print(c > d and a > b)输入和输出# 输出 %占位符name = '张洋'classPro = '青
2020-10-29 18:16:47
139
原创 360问题导致Cannot open Local Terminal
Cannot open Local TerminalFailed to start [cmd.exe] in F:\workspace\webstorm\ui_oldError starting winpty: ConnectNamedPipe failed: Windows error 232This error can occur due to antivirus blocking winpty from creating a pty. Please exclude the following f
2020-06-09 11:42:45
735
原创 Oozie的安装与使用
Oozie的介绍Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce、Pig等。oozie的组件介绍workFlow:工作流,定义工作流任务的执行,主要由一个个的action组成,每个action都是一个任务,在xml中 进行配置即可Coordinator :协作器,可以理解为工作流的协调器,可以将多个工作流协调成一个工作流来进行处理。也是 oozie当中的定时任务调度的模块,Bundle :捆,束。多个Coordinator
2020-06-02 21:15:34
477
原创 用户画像所用到的虚拟机与资料
虚拟机:链接:https://pan.baidu.com/s/1VI2FrRgaVMwLVSAuu5PfEA 提取码:9vmz资料:链接:https://pan.baidu.com/s/1RFSPqjz04M3LzVinIMlpYQ 提取码:npz5
2020-06-01 22:40:35
195
原创 用户画像业务数据调研及ETL(二)持续更新中...
数据同步原始数据在mysql,将数据先同步到Hive,再同步到Hbase(BulkLoad)·为什么需要使用Hbase??特点:数据量比较大存储HBase:存储海量数据、查询检索centOS7 启动服务的命令systemctl ststart mysqldsystemctl stop mysqldsystemctl start mysqld第一步:准备Mysql数据将tags_dat.sql上传到linux ,将脚本中的tags_dat 改成tags_dat2。进入mys
2020-06-01 22:35:10
417
原创 用户画像概念、项目概述及环境搭建(一)
项目安排:企业级360°全方位用户画像一、用户画像概念、设计构建用户画像及项目演示说明 -2天用户画像概念发展如何构建用户画像标签Tag项目核心功能:深入剖析(最关键)项目工程初步搭建二、基础知识:数据导入ETL和应用调度 -2天a)、数据采集与ETL如何将业务数据采集导入到大数据平台上(HDFS、Hive、HBase)b)、标签 -> 模型 -> SparkApplicationOozie==============================
2020-06-01 22:19:46
1060
4
原创 Kylin的安装部署
1丶Hbase部署kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本。具体操作步骤:下载hbase 1.1.1版本资料\Kylin\软件包\hbase-1.1.1-bin.tar.gz上传到一台服务器,解压缩 tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/修改hbase-env.sh添加JAVA_HOME环境变量 export JAVA_HOME=/export/servers/jdk1.8
2020-05-15 18:27:23
618
原创 Redis的JavaAPI操作
redis不仅可以通过命令行进行操作,同时redis也可以通过javaAPI进行操作,我们可以通过使用javaAPI来对redis数据库当中的各种数据类型进行操作第一步:创建maven工程并导入jar包< dependencies>< dependency>< groupId>redis.clients</ groupId>< artifactId>jedis</ artifactId>< version>2.9
2020-05-10 17:10:42
195
原创 Redis
1丶NoSQL 数据库NoSQL: no sql (不支持sql查询) not only sql (不仅仅只有sql)NoSQL的适用场景: 1、获取最新的N个数据 2、获取数据的topN(最新的N个数据) 3、需要精确设置数据的过期时间 4、计数器 5、求取两个集合的交集、并集、差集 6、构建实时消息系统 7、缓存数据(热数据) 8、构建对列 热数据:经常被使用数据、高频使用的数据就是热数据。NoSQL不适用场景: 不支持事务 基于sql
2020-05-10 17:05:14
141
原创 拉链表相关练习
需求:在mysql数据库中有一个人员信息表(userinfo)数据字段如下:列名 类型 说明user_id varchar(50) 用户编号phone_number varchar(50) 手机号health_code varchar(50) 健康码的颜色(绿色,黄色,红色)reg_time varchar(50) 用户注册日期modify_time varchar(50) 健康码颜...
2020-05-08 10:25:24
425
原创 kettle 实操
Test1 csv-excelTest2 json-excelTest3 mysql -excelTest4 生成数据-excelTest5 mysql –文本Test6 json –文本Test7 json –mysqlTest8 mysql 删除数据集成大数据Test9 HDFS –excelTe...
2020-05-07 16:14:42
420
3
原创 拉链表存储历史快照流程
1,分为三层,但是只用到 ods 与 dw 层2,里面有两个新增字段 start 生效时间 – end 失效时间3,如果end 是9999 表示最新状态 不是9999 表示不是最新数据4,dw层 与 最新过来的数据 进行 left join 关联 得到最新状态5,最新状态 与 当天所有数据(新添加数据+更新数据) 进行 union all6,将 union all 的数据 覆盖...
2020-05-07 09:06:14
866
1
原创 Spark Streaming
Spark StreamingSpark Streaming是一个基于Spark Core之上的实时计算框架SparkStreaming特点易用:可以像编写离线批处理一样去编写流式程序,支持java/scala/python语言。容错:SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。易整合到Spark体系:流式处理与批处理和交互式查询相结合。SparkStr...
2020-04-21 18:18:44
201
原创 SparkSql
SparkSQL基本介绍什么是SparkSQL?用于处理结构化数据的Spark模块。可以通过DataFrame和DataSet处理数据。SparkSQL特点1、易整合可以使用java、scala、python、R等语言的API操作。2、统一的数据访问连接到任何数据源的方式相同。3、兼容Hive4、标准的数据连接(JDBC/ODBC)SQL优缺点优点:表达非常清晰,难度低、易...
2020-04-21 18:17:15
288
原创 Kafka的JavaAPI
1、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml org.apache.kafka kafka-clients 1.0.0 org.apache.kafka kafka-streams 1.0.0 ...
2020-04-21 18:13:10
170
原创 Kafka集群操作
1、创建topic创建一个名字为test的主题, 有三个分区,有两个副本node01执行以下命令来创建topic cd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic 18BD-...
2020-04-21 18:09:41
108
原创 练习
2、把预处理之后的数据进行入库到hive中2.1创建数据库和表创建数据库名字为:video创建原始数据表:视频表:video_ori 用户表:video_user_ori创建ORC格式的表:视频表:video_orc 用户表:video_user_orc给出创建原始表语句创建video_ori视频表:create table video_ori(videoId string,...
2020-01-07 09:11:15
29822
1
原创 HbaseApi
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.;import org.apache.hadoop.hbase.client.;import org.apache.hadoop.hbase.util.Bytes;import org.junit.jupiter.api.Test;impo...
2020-01-07 09:06:09
29845
原创 Phoenix(凤凰)安装部署及介绍
Phoenix介绍phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询HBase数据。支持SQL的还有Hive和I...
2020-01-07 08:46:37
30944
1
原创 Hbase常用shell操作
1、进入HBase客户端命令操作界面$ bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表,包含info、data两个列族hbase(main):010:0> create 'user', 'info', 'data...
2019-12-13 21:00:51
32140
原创 Hbase的基本介绍
HBase的基本介绍Hbase 是建立在hdfs之上的一个数据库,不支持join等SQL复杂操作.支持的数据类型:byte[],依靠横向扩展一个表可以有上十亿行,上百万列。面向列(族)的存储和权限控制对于为空(null)的列,并不占用存储空间,是一个稀疏表。稀疏的理解HBASE的适用场景海量数据、精确查询、快速返回海量数据:指的是数据量的背景精确查询:业务场景快速返回:是业...
2019-12-13 20:54:24
32326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人