weixin_44524441的博客

转载 软件安装管家

https://blog.csdn.net/weixin_43729418/article/details/110307259

转载 FinReport动态隔间运算

1、动态隔间运算入门说明首先提供一个公式，公式:“显示列[显示列的父列:偏移量]”。此时你不需要知道这个公式是什么意思，目前有个印象就行，通过下面的学习你就明白了。动态隔间运算类似于EXCEL表格中的公式运算，相当于你在某个单元格中输入“=…”这样的公式。定义不太好叙述，下面通过案例说明，更为直观。2、入门小案例首先，新建一个普通报表–>利用sql选择需要导入的数据集select strftime('%m',订购日期) as 月份,应付金额 from 订单where strftime('%

原创 kettle连接hive2报错

Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)Could not open client transport with JDBC Uri: jdbc:hive2://bigdata111:10001/test: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org

原创 JAVA读取文件并替换文件中的内容

package control;import org.junit.Test;import java.io.*;import java.text.ParseException;import java.text.ParsePosition;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;public class qwe { public static void m

原创 Windows R语言(持续更新)

环境安装R 语言的开发环境本身具备了图形开发环境，这与其他很多工程语言是不同的，所以开发环境最好安装在为桌面个人计算机设计的操作系统上（如 Windows, macOS 或 Ubuntu 桌面版 等）。首先，我们需要下载 R 语言环境的安装包：Windows官方地址：https://cloud.r-project.org/bin/windows/base/USTC 镜像：https://mirrors.ustc.edu.cn/CRAN/bin/windows/base/TUNA 镜像：https

原创 Ambari搭建

1,配置说明节点:无硬性要求操作系统:CentOS-7内存:8GJDK:jdk1.8.0_151Mysql:5.7.23Ambari:2.7.1HDP:3.0.1Vmware:WorkStation 15.52,配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-ens32 (最后一个为网卡名称)（1）bootproto=static（2）onboot=yes（3）在最后加上几行，IP地址、子网掩码、网关、dns服务器重启服务s

原创 集群配置(3台)

集群第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules 第三步: 更改网卡信息 (setup)vim /etc/sysconfig/network-scripts/ifcfg-eth0 第四步: 重启系统生效reboot三台机器 关闭防火墙# 查看防火墙的状态service iptables status# 启动防火墙服务service iptables start

原创 Linux 安装JDK Tomcat Mysql

安装JDKjdk包链接：https://pan.baidu.com/s/1V_i_KCg9jMV8WujkLRgAnA 提取码：t0vz 第一步: 卸载linux系统 提供的jdk# 查询已安装的jdkrpm -qa | grep java# 将查询到的全部卸载rpm -e --nodeps 软件包名第二步: 上传按照包到 /export/soft , 解压到 /export/install# 1 创建保存软件包目录mkdir -p /export/soft/cd /expor

原创 Linux配置yum源

本地yum源第一步 挂载 持有系统镜像的 光驱 请查看上一篇文章[镜像配置](https://blog.csdn.net/weixin_44524441/article/details/112365637)第二步: 备份默认yum源仓库# 切换到保存yum信息的目录cd /etc/yum.repos.d/# 备份所有的配置文件rename .repo .repo.bak * # 查看是否备份成功ll第三步: 新增本地yum源vi CentOS-Local.repo编辑内

原创 Linux挂载

挂载硬盘第一步: 了解linux系统分区的原理-一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载第二步: 查看系统分区情况命令英文含义lsblk -flist block devices查看所有设备的挂载情况参数英文含义-ffile system文件系统第三步: 虚拟机 增加 硬盘模拟将买的硬盘插入到 服务器中选中 目标虚拟机

原创 配置Linux系统网络

MAC地址需要详细记录（很关键）删除掉红色框内的内容将eth1 改为eth0（当前网卡编号）address 必须与前面的唯一标识相同，若不相同，需要将address改为和MAC相同保存退出设置网络设置前查看文件开始设置Static IP 自己定义IPNetmask 固定格式255.255.255.0Default gateway IP 子网掩码必须与下面的截图内的相同DNS 固定格式 8.8.8.8配置好后，保存退出设置完后查看文件红..

原创 CentOS6系统安装

使用自定义空间步骤所有系统自定义布局必不可少得分区1 根分区 ‘/’2 引导分区 ‘/boot’3 交换分区 ‘/swap’大数据生产系统必不可少1 数据分区 ‘/mnt/disk*创建系统“swap分区”过程创建系统“数据分区”/mnt/disk1过程自定义分区结束系统安装完毕...

原创 创建Linux模式虚拟机

标题CentOS-6.9提取链接：https://pan.baidu.com/s/1ovLqi5MdUyvdTwh7JRZEJg提取码：op9v

原创 Vmware下安装windows 10

ios文件下载地址官方下载地址ok!启动!

原创 FineReport 连接 SQL Server

SQL Server 创建表create table stuinfo --创建学生信息stuinfo表( --创建列开始 sid int primary key, --sid 学生编号 类型int 主键 sname nchar(8) not null, --sname 学生姓名 类型nchar(8) 非空 saddress nvarchar(30), --saddress 学生地址 类型nvarchar(30) sclass int, --sclass 学生班级 类型int

原创 Kettle 连接 SQL Server

链接：https://pan.baidu.com/s/1UjEOZi6dLMlvPnK6Fbj6IQ提取码：7iho将jar包存储在kettle 的 lib 中,重启kettle 生效

原创 SQL Server 下载 安装

https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads

原创 学习Python第一天记录

赋值运算# 赋值运算# += -= *= \= %= **=a,b,c,d=23,18,10,3# a+=c# print(a)a**=2print(a)逻辑运算符# 逻辑运算符 and or not# and 条件比较严格# 定义四个变量a,b,c,d=23,18,10,3print(a + b > c and c < d)print(c > d and a > b)输入和输出# 输出 %占位符name = '张洋'classPro = '青

原创 拿一下1024徽章

祝大家1024节日快乐

原创 360问题导致Cannot open Local Terminal

Cannot open Local TerminalFailed to start [cmd.exe] in F:\workspace\webstorm\ui_oldError starting winpty: ConnectNamedPipe failed: Windows error 232This error can occur due to antivirus blocking winpty from creating a pty. Please exclude the following f

原创 Oozie的安装与使用

Oozie的介绍Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。oozie的组件介绍workFlow：工作流，定义工作流任务的执行，主要由一个个的action组成，每个action都是一个任务，在xml中 进行配置即可Coordinator ：协作器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。也是 oozie当中的定时任务调度的模块,Bundle ：捆，束。多个Coordinator

原创 用户画像所用到的虚拟机与资料

虚拟机:链接：https://pan.baidu.com/s/1VI2FrRgaVMwLVSAuu5PfEA 提取码：9vmz资料:链接：https://pan.baidu.com/s/1RFSPqjz04M3LzVinIMlpYQ 提取码：npz5

原创 用户画像业务数据调研及ETL(二)持续更新中...

数据同步原始数据在mysql,将数据先同步到Hive,再同步到Hbase（BulkLoad）·为什么需要使用Hbase??特点：数据量比较大存储HBase：存储海量数据、查询检索centOS7 启动服务的命令systemctl ststart mysqldsystemctl stop mysqldsystemctl start mysqld第一步：准备Mysql数据将tags_dat.sql上传到linux ,将脚本中的tags_dat 改成tags_dat2。进入mys

原创 用户画像概念、项目概述及环境搭建(一)

项目安排：企业级360°全方位用户画像一、用户画像概念、设计构建用户画像及项目演示说明 -2天用户画像概念发展如何构建用户画像标签Tag项目核心功能：深入剖析（最关键）项目工程初步搭建二、基础知识：数据导入ETL和应用调度 -2天a）、数据采集与ETL如何将业务数据采集导入到大数据平台上（HDFS、Hive、HBase）b）、标签 -> 模型 -> SparkApplicationOozie==============================

原创 Kylin的安装部署

1丶Hbase部署kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本。具体操作步骤：下载hbase 1.1.1版本资料\Kylin\软件包\hbase-1.1.1-bin.tar.gz上传到一台服务器，解压缩 tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/修改hbase-env.sh添加JAVA_HOME环境变量 export JAVA_HOME=/export/servers/jdk1.8

原创 Redis的JavaAPI操作

redis不仅可以通过命令行进行操作，同时redis也可以通过javaAPI进行操作，我们可以通过使用javaAPI来对redis数据库当中的各种数据类型进行操作第一步：创建maven工程并导入jar包< dependencies>< dependency>< groupId>redis.clients</ groupId>< artifactId>jedis</ artifactId>< version>2.9

原创 Redis

1丶NoSQL 数据库NoSQL: no sql (不支持sql查询) not only sql (不仅仅只有sql)NoSQL的适用场景: 1、获取最新的N个数据 2、获取数据的topN(最新的N个数据) 3、需要精确设置数据的过期时间 4、计数器 5、求取两个集合的交集、并集、差集 6、构建实时消息系统 7、缓存数据（热数据） 8、构建对列 热数据：经常被使用数据、高频使用的数据就是热数据。NoSQL不适用场景: 不支持事务 基于sql

原创 拉链表相关练习

需求：在mysql数据库中有一个人员信息表（userinfo）数据字段如下：列名 类型 说明user_id varchar(50) 用户编号phone_number varchar(50) 手机号health_code varchar(50) 健康码的颜色(绿色，黄色，红色)reg_time varchar(50) 用户注册日期modify_time varchar(50) 健康码颜...

原创 kettle 实操

Test1 csv-excelTest2 json-excelTest3 mysql -excelTest4 生成数据-excelTest5 mysql –文本Test6 json –文本Test7 json –mysqlTest8 mysql 删除数据集成大数据Test9 HDFS –excelTe...

原创 拉链表存储历史快照流程

1,分为三层,但是只用到 ods 与 dw 层2,里面有两个新增字段 start 生效时间 – end 失效时间3,如果end 是9999 表示最新状态 不是9999 表示不是最新数据4,dw层 与 最新过来的数据 进行 left join 关联 得到最新状态5,最新状态 与 当天所有数据(新添加数据+更新数据) 进行 union all6,将 union all 的数据 覆盖...

原创 Spark Streaming

Spark StreamingSpark Streaming是一个基于Spark Core之上的实时计算框架SparkStreaming特点易用：可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。容错：SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。易整合到Spark体系：流式处理与批处理和交互式查询相结合。SparkStr...

原创 SparkSql

SparkSQL基本介绍什么是SparkSQL?用于处理结构化数据的Spark模块。可以通过DataFrame和DataSet处理数据。SparkSQL特点1、易整合可以使用java、scala、python、R等语言的API操作。2、统一的数据访问连接到任何数据源的方式相同。3、兼容Hive4、标准的数据连接（JDBC/ODBC）SQL优缺点优点：表达非常清晰，难度低、易...

原创 Kafka的JavaAPI

1、创建maven工程并添加jar包创建maven工程并添加以下依赖jar包的坐标到pom.xml org.apache.kafka kafka-clients 1.0.0 org.apache.kafka kafka-streams 1.0.0 ...

原创 Kafka集群操作

1、创建topic创建一个名字为test的主题， 有三个分区，有两个副本node01执行以下命令来创建topic cd /export/servers/kafka_2.11-1.0.0bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic 18BD-...

原创 大数据 启动命令

原创 练习

2、把预处理之后的数据进行入库到hive中2.1创建数据库和表创建数据库名字为：video创建原始数据表：视频表：video_ori 用户表：video_user_ori创建ORC格式的表：视频表：video_orc 用户表：video_user_orc给出创建原始表语句创建video_ori视频表：create table video_ori(videoId string,...

原创 HbaseApi

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.;import org.apache.hadoop.hbase.client.;import org.apache.hadoop.hbase.util.Bytes;import org.junit.jupiter.api.Test;impo...

原创 Phoenix（凤凰）安装部署及介绍

Phoenix介绍phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询HBase数据。支持SQL的还有Hive和I...

原创 Hbase常用shell操作

1、进入HBase客户端命令操作界面$ bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表，包含info、data两个列族hbase(main):010:0> create 'user', 'info', 'data...

原创 Hbase的基本介绍

HBase的基本介绍Hbase 是建立在hdfs之上的一个数据库，不支持join等SQL复杂操作.支持的数据类型：byte[]，依靠横向扩展一个表可以有上十亿行，上百万列。面向列(族)的存储和权限控制对于为空(null)的列，并不占用存储空间，是一个稀疏表。稀疏的理解HBASE的适用场景海量数据、精确查询、快速返回海量数据：指的是数据量的背景精确查询：业务场景快速返回：是业...