weixin_43924642的博客

原创 大数据抽取kettle

kettle

原创 FR-报表应用-分页报表-每页显示固定行数

动态行数

原创 FR-报表应用-分页报表-按组分页

原创 FR-报表应用-分页报表-分页报表

新建普通报表，在模板数据集面板下新建一个 数据库查询 ds1，SQL 查询语句为：select * from 订单 where 货主地区 != ‘’ and 应付金额 != ‘’

原创 FR-报表应用-多源报表-非主表实现数据过滤

将 ds2 数据集中 SQL 查询语句修改为：SELECT * FROM 销售总额 where 1=1 ${if(len(销售总额)=0,""," and 销售总额 = ‘"+销售总额+"’")}，如下图所示：过滤条件设置双击 B4 单元格，设置过滤条件：条件一：普通条件，ds1 销售员数据列等于 ds2 销售员数据列； or 条件二：公式条件，len($销售总额) =0 ，以实现参数为空选择全部的效果。ds2 数据集中已经实现了这个效果，但是单元格 B4 的数据来自于 ds1数据集, ds1.

原创 FR-报表应用-多数据源报表-多源分片报表

多源：指一张报表的数据来源来自多个数据表，甚至是多个物理数据库。这里的多个常常不是两个三个，而是七八个乃至十几个，无法转成单源。分片：指一张报表的纵向或横向或双向同时被分成了多个区域，往往每个区域来自不同的数据源。多源分片报表通常有比较复杂的横表头与纵表头，在设计多源分片报表时，可以先将表头设计好，最后设计中间部分的数据。此时只需要设置好对应的关联过滤即可，最后进行模板数据字典等显示设置。另外一种快速制作多源分片报表的方法是每片单独设计，如上图报表，可以先设计分片 1，确认无误后再设计分片 2，如

原创 FR-报表应用-多源报标-复杂多源报表

实际应用时，交叉表当中的行列与汇总计算数据，均来自不同数据库也是很常见的。如下图所示，在这张报表中，项目总数，需财政安排数，单位自筹，其他资金都是来自于不同的数据集。数据库的数据表是项目 ID 与项目名称有一张单独的表来保存，另有项目数量，财政补贴资金，单位自筹资金，其他资金等四张列表。每张表均通过 ID 字段与项目名称表建立关系，以下是五张内置的数据集：注：在数据集面板中点击添加按钮，选择内置数据集即可新建内置数据集，直接添加数据，详细请查看内置数据集。...

原创 FR-报表应用-分组报表-忽略字符串顺序进行汇总

先对组内的字符串进行排序，然后再分组汇总。3）选中 A2 单元格，如下图进行自定义分组，自定义公式：为JOINARRAY(SORTARRAY(SPLIT($$$,",")),",")效果

原创 FR-报表应用-分组报表-动态显示N个分组

在「单元格元素」>「数据设置」位置，通过自定义公式分组实现。SELECT * FROM 销量 where 产品=‘苹果汁’ order by 销量 desc2）在参数面板中添加 TOPN 参数，选择控件类型为 「下拉框控件」，在「数据字典」处选择数据类型为「公式」，实际值处写入公式range(1,8) ，为下拉框添加可以选择的数字值，如下图所示：注：RANGE(from，to，step)函数表示从整数from开始，以step为每一步的大小，直到整数to的一个数字序列。自定义分组1）..

原创 FR-报表应用-分组报表-段长动态分组

通过「单元格元素>数据设置」中的「分组>高级>自定义>公式分组」实现新建普通报表选中 A2 单元格，数据设置为「分组>高级>自定义>公式分组」，选择显示模式为「普通分组」，自定义值中输入公式："["+((roundup($KaTeX parse error: Can't use function '$' in math mode at position 2: /$̲num)-1)*$num+1)…///num)*$num)+"]"...

原创 FR-报表应用-分组报表-自定义公式分组

1.1通常情况下，数据是通过某一字段来进行分组，如日期字段，每个日期对应一个组，此时分组过于详细，希望按照年与周来分组显示。注：FineReport 中，week 公式的计算逻辑和 Excel 里一致，把星期天定义为一个星期的第一天。一年中第一个周，必须从星期天开始。 例如：2010-01-01 是星期五，那么 2010-01-01 就不算在2010 年的第一个星期里面，只算在 2009 年的最后一个星期里。 2.1新建报表 select * from 订单2.2自定义公式分组订

转载 redis链接不上，报保护模式

https://blog.csdn.net/dbbbbbbbbb/article/details/88666301 这是原文链接解决方案：打开redis的配置文件 redis.conf修改配置3处第一处这一处本来是没有注释的，注释掉第二处：第三处：./redis-server /usr/local/software/redis-4.0.14/etc/redis.conf注意...

原创 网站流量模型(2)技术

网站流量日志数据分析是一个纯粹的数据分析项目，其整体流程基本上就是依据数据的处理流程进行。有以下几个大的步骤：数据采集数据采集概念，目前行业会有两种解释：一是数据从无到有的过程（web服务器打印的日志、自定义采集的日志等）叫做数据采集；另一方面也有把通过使用Flume等工具把数据采集到指定位置的这个过程叫做数据采集。关于具体含义要结合语境具体分析，明白语境中具体含义即可。数据预处理通过m...

原创 网站流量模型(1)介绍

ngnix 里面拿数据1.点击流:用户在网站上持续访问的轨迹用户对网站的每次访问包含了一系列的点击动作行为，这些点击行为数据就构成了点击流数据（Click Stream Data），它代表了用户浏览网站的整个流程。点击流和网站日志点击流是从用户的角度出发，注重用户浏览网站的整个流程；而网站日志是面向整个站点，它包含了用户行为数据、服务器响应数据等众多日志信息，我们通过对网站日志的分析可以...

原创 hive使用方式

第一种交互方式：Hive交互shellcd /export/servers/hive-1.1.0-cdh5.14.0bin/hive查看所有的数据库hive (default)> show databases;创建一个数据库hive (default)> create database myhive;使用该数据库并创建数据库表hive (default)> use...

原创 hive的安装之（使用mysql作为元数据信息存储）

网址对应的下载下载之后上传到linux的主机解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/直接启动 bin/hivecd …/servers/cd hive-1.1.0-cdh5.14.0/bin/hivehive> create database mytes...

原创 Hive(2)和mysql的不同

什么是Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表。数据结构：结构化的数据：字段个数一定，字段之间的分隔符一定半结构化的数据：例如xml，json等非结构化的数据：没有任何规律格式的数据hive底层的数据存储都是使用HDFS，数据的统计计算都是使用的MapReduce,hive一些特点：可扩展：扩展的是我们的hadoop集群延展性：...

原创 Hive(1)数据仓库

数据仓库:Data Warehouse(DW , DWH).数据仓库的目的: 构建面向分析的集成化数据环境。名字叫做data warehourse 数据仓库仓库：主要用于存储东西的，不会生产东西，也不会消耗东西数据仓库：不会产生任何的数据，也不会消耗任何的数据，只是用于存储这些数据 主要用于分析性报告和决策支持数据仓库主要特征:(1)面向主题:有确切的分析目标(2)集成性:...

原创 Redis

1.1什么是NoSql为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。NoSQL，泛指非关系型的数据库，NoSQL即Not-Only SQL，它可以作为关系型数据库的良好补充。不仅仅是sql,更是一种解决方案(泛指非关系型数据库)Nosql数据库分类键值(Key-Value)存储数据库相关产品： Tokyo Cabinet/Tyrant、R...

转载 Linux网络管理

主机名配置查看主机名hostname修改主机名(重启后无效)hostname hadoop修改主机名(重启后永久生效)vi /ect/sysconfig/networkHOSTNAME=node01.hadoop.com域名映射/etc/hosts 文件用于在通过主机名进行访问时做 ip 地址解析之用。所以，你想访问一个什么样的主机名，就需要把这个主机名和它对应的 ip 地址...

原创 linux的权限管理与防火墙(3)

chown -R hadoop:hadoop abc.txt 改变某个文件或者文件夹的所属的用户以及用户组第一个参数 -R 表示我们递归的进行改变第二个参数 hadoop:hadoop 表示我们的用户以及用户组第三个参数:我们需要改变的文件或者文件夹chmod 改变文件的执行权限chmod 777 abc.txt 表示给某个文件赋予所有人的所有权限chmod(cha...

原创 Linux用户与用户组(2)

添加普通用户useradd hadoop # 这个就表示我们创建了一个普通用户passwd hadoop # 表示我们需要给hadoop这个普通用户分配一个密码,密码需要自己设置添加用户组：groupadd storm 表示我们自己添加了一个storm的组su与sudosu的使用切换用户：linux当中可以使用su来切换不同的用户角色su root ...

原创 Linux常见命令(1)

1.查找命令grepps -ef | grep sshd 查找指定 ssh 服务进程(重点)ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除 gerp 本身ps -ef | grep sshd –c 查找指定进程个数cat a.txt | grep -f b.txt 从文件中读取关键词进行搜索输出 a.txt 文件中含有从 b.txt 文件中读取...

原创 虚拟机配置并且联网

将这些基础环境先搭建好,就可以配置虚拟机联网了修改Mac地址的配置文件vim /etc/udev/rules.d/70-persistent-net.rules只留一行配置修改网络配置vim /etc/sysconfig/network-scripts/ifcfg-eth0IPADDR=192.168.25.100 (这个是跟v8的25网段一样 后面1-200都...

转载 springmvc创建bean.....HTTP Status 500 - Servlet.init() for servlet springmvc threw exception

出现这种问题的一案板原因是：@RequestMapping(value=XXX) 可能是同一个Controller或者 是不同的Controller。 XXX重名导致。

原创 spring容器创建的三种方式

第一种方法:类路径获得配置文件这是我的工程结构在idea里面有一个配置文件直接创建就可以了第二种方式:文件系统路径获得配置文件绝对路径,就是盘符路径第三种:使用BeanFactory这个方式有点过时了...

原创 RDD

什么是RDD1.RDD（Resilient Distributed Dataset）叫做弹性分布式数据集,是最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度。Dataset：一个数据集合，用于存放数据...

原创 spark简单入门案例wordCount

创建idea工程package test.Sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { //alt+上箭头 向上拉取 ...

原创 spark环境安装之HA 高可用

高可用部署说明Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的Master-Slaves 结构集群一样，存在着 Master 单点故障的问题。如何解决这个单点故障的问题，Spark 提供了两种方案：（1）基 于 文 件 系 统 的 单 点 恢 复 (Single-Node Recovery with Local FileSystem)。主...

原创 spark环境安装之单Master

spark官方网站 http://spark.apache.org/ 点击 downLoad分别对应的是spark版本,还有 Hadoop的版本,要考虑一下兼容性的问题在Hadoop 2.7 那一行 有 Source Code 可以下载 spark对应的源码包1. Spark的特点速度很快:与 Hadoop 的 MapReduce 相比，Spark 基...

原创 Map

【Map】Map集合第一章 Map集合1.1 概述现实生活中，我们常会看到这样的一种集合：IP地址与主机名，身份证号与个人，系统用户名与系统用户对象等，这种一一对应的关系，就叫做映射。Java提供了专门的集合类用来存放这种对象关系的对象，即java.util.Map接口。我们通过查看Map接口描述，发现Map接口下的集合与Collection接口下的集合，它们存储数据的形式不同，如下...

原创 List&Set

day03 【List、Set、数据结构、Collections】主要内容数据结构List集合Set集合Collections第一章 数据结构2.1 数据结构有什么用？当你用着java里面的容器类很爽的时候，你有没有想过，怎么ArrayList就像一个无限扩充的数组，也好像链表之类的。好用吗？好用，这就是数据结构的用处，只不过你在不知不觉中使用了。现实世界的存储，我们使用的工...

原创 Collection&泛型

【Collection、泛型】主要内容Collection集合迭代器增强for泛型1.1 集合概述在前面基础班我们已经学习过并使用过集合ArrayList ,那么集合到底是什么呢?集合：集合是java中提供的一种容器，可以用来存储多个数据。集合和数组既然都是容器，它们有啥区别呢？数组的长度是固定的。集合的长度是可变的。数组中存储的是同一类型的元素，可以存储基本数据类...

原创 Java中Object类,还有常用的API

day01【Object类、常用API】主要内容Object类Date类DateFormat类Calendar类System类StringBuilder类包装类第一章 Object类1.1 概述java.lang.Object类是Java语言中的根类，即所有类的父类。它中描述的所有方法子类都可以使用。在对象实例化的时候，最终找的父类就是Object。如果一个类没有特别指...

原创 常见数组几道题目

基础题目第一题： 模拟大乐透号码一组大乐透号码由10个1-99之间的数字组成定义方法，打印大乐透号码信息代码实现，效果如图所示：开发提示：使用数组保存录入的号码参考答案：public class Test1 {public static void main(String[] args) {int[] arr = {10,20,30,40,50, ...