- 博客(41)
- 收藏
- 关注
RSS订阅
原创 大数据_——利用hive仓库模拟数据进行日活、日新、留存数据的分析统计（详细代码步骤）
假如有一个web系统，每天生成以下日志文件：2017-09-15号的数据：192.168.33.6,hunter,2017-09-15 10:30:20,/a192.168.33.7,hunter,2017-09-15 10:30:26,/b192.168.33.6,jack,2017-09-15 10:30:27,/a192.168.33.8,tom,2017-09-15 10:30:...
2019-08-14 10:55:17
1780
原创 elementui的table行展开，左侧的icon有的需要有的不需要
【代码】elementui的table行展开，左侧的icon有的需要有的不需要。
2024-05-10 15:41:04
275
原创 鸿蒙列表，item组件封装传参问题？@ObjectLink 和@Observerd
ArtTS不支持这么做，也就是Link修饰的数据必须得是最外层的 State数据，想要实现我们刚刚的设想，我们还得另辟蹊径。-后续ObjectLink 和Observerd会解决这个问题。案例中：父组件的总和，是需要再传一个list数据进去，在子组件中使用@link 进行数据双向更新，才能实现ui试图更新的，因为鸿蒙数据只支持单层数据响应式更新。当然，如果只是对item内容进行纯ui渲染， 可以不使用装饰器修饰，直接进行数据传递和接受渲染即可。鸿蒙列表渲染，封装内容组件，进行item传参会报错？
2023-12-25 15:09:36
708
原创 鸿蒙插槽？全局插槽和局部插槽？数据不更新？
第二种：局部插槽：传入的变量是@state数据（数据是对象也一样），但是button点击更改，并没有任何反应。全局插槽：传入的变量是@state数据（数据是对象也一样），但是button点击更改，并没有任何反应。
2023-12-25 10:05:04
658
原创 鸿蒙移动端像素问题？设计图和vp的比例？
大家都知道原始的css3适配方案是媒体查询和rem布局，媒体查询是现有多种ui框架的底层原理，写非ui框架项目时候，rem更好用一些。由此可见，不管设计图是720px，还是1080px 项目中内容宽度写360vp 都会占满全屏。鸿蒙移动端最主要的问题是怎样适配所有大小不同的移动设备端口？但是rem需要有一个设计图比例问题，鸿蒙到底应该是多少？
2023-12-25 09:50:17
903
1
原创 鸿蒙@State数据响应式问题，复杂数据类型的深层嵌套无法触发视图更新，怎么办？
鸿蒙@State数据响应式问题，复杂数据类型的深层嵌套无法触发视图更新，怎么办？
2023-12-22 11:07:29
711
1
原创 小程序支付流程详解
一、小程序需要是企业级开发，并且将开发者加入开发者白名单二、支付实现1、获取用户信息<button type="primary" plain open-type="getUserInfo" bindgetuserinfo="handleGetUserInfo" > 获取授权</button>`handleGetUserInfo(e) { // 1 获取用户信息 const { encryptedData, rawData, iv, signature } =
2020-09-11 11:15:34
2397
原创 spark启动程序命令
使用standalone的client方式启动命令：./spark-submit --master spark://hive01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar 300使用standalone的...
2019-09-06 11:26:09
2076
原创 spark运行时异常：org.apache.spark.SparkException: Could not find CoarseGrainedScheduler.
org.apache.spark.SparkException: Could not find CoarseGrainedScheduler. at org.apache.spark.rpc.netty.Dispatcher.postMessage(Dispatcher.scala:154) at org.apache.spark.rpc.netty.Dispatcher.postOneWay...
2019-09-06 10:02:27
6417
原创 Hive的概念及基本语法
HIVE是什么？HIVE是一个可以将sql翻译为MR程序的工具HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析HIVE将用户定义的库、表结构等信息存储hive的元数据库中（可以是本地derby，也可以是远程mysql）Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL...
2019-08-14 16:54:54
235
原创 maven项目打jar包的方式---网上方法很多，不能用的恶心的居多
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> ...
2019-08-14 15:42:12
138
原创 hive--内置函数
hive为我们提供了一个很全面的函数库，基本上覆盖了我们的工作中会用的地方类型转换cast//a为要转换的数据b为要转换的类型select cast(a as b) ;数学运算函数select round(5.4) ; ## 5select round(5.1345,3) ; ##5.135select ceil(5.4); // select ceiling(5.4); ...
2019-08-12 15:08:37
178
原创 hive数据类型--复合类型
array数组-- 数组-- 有如下数据：战狼2,吴京:吴刚:龙母,2017-08-16三生三世十里桃花,刘亦菲:痒痒,2017-08-20普罗米修斯,苍老师:小泽老师:波多老师,2017-09-17美女与野兽,吴刚:加藤鹰,2017-09-17-- 建表映射：create table t_movie(movie_name string,actors array<strin...
2019-08-12 11:45:21
310
原创 hive--查询语法02
分组查询-- 有如下数据-- 求8月4号以后，每天每个页面的总访问次数，及访问者中ip地址中最大的，且，只查询出总访问次数>2 的记录/*192.168.33.3,http://www.edu360.cn/stu,2017-08-04 15:30:20192.168.33.3,http://www.edu360.cn/teach,2017-08-04 15:35:20192.16...
2019-08-12 10:43:32
109
原创 Hive--查询语法
hive的查询语法基本和sql一致，也是分为：基本查询select * from emp;select t.empno,t.ename,t.deptno from emp t;条件查询limit//查询前n条select * from emp limit 5;区间查询between andselect * from emp e where e.sal ...
2019-08-12 10:29:45
210
原创 大数据——linux安装mysql，并使用hive连接步骤详解及报错解决！！！
https://blog.csdn.net/qq_31725371/article/details/83019856https://blog.csdn.net/hello_world_qwp/article/details/79551789https://blog.csdn.net/qq_36168479/article/details/83859060https://blog.csdn.n...
2019-08-08 23:15:10
876
1
原创 ha高可用集群的搭建
首先准备7台虚拟机修改主机名、IP、IP与主机名之间的映射、关闭防火墙、配置ssh免密登陆、安装jdk并配置好环境变量集群规划：机名IP安装的软件运行的进程ha00192.168.66.20jdk、hadoopNameNode、DFSZKFailoverController(zkfc)ha01192.168.66.21jdk、hadoopName...
2019-08-08 14:05:57
216
原创 mapreduce之数据切片
注：本文中的两段代码都是以内部类的方式进行编写的需求：需求：有大量的文本文档，如下所示：a. txthello tomhello jimhello kittyhello roseb. txthello jerryhello jimhello kittyhello jackc. txthello jerryhello javahello c++hello c++...
2019-08-08 11:52:26
615
原创 大数据——mapreduce打散倾斜方式解决reduce task的负载均衡
打散倾斜原理：1、获取NumReduceTasks的个数，并将其随机2、在map结果的返回值中，将随机数拼接到key上。3、得出的结果再重新进行mapreduce计算，将后缀切掉，重新聚合。第一次mapreduce：public class SkewWordcount { public static class SkewWordcountMapper extends Mapper&l...
2019-08-08 11:41:09
419
原创 大数据——mapreduce分析数据更改源码之分组机制、分区机制、排序机制（map返回值key为对象）
map返回值对象封装：排序规则的修改和mapreduceIO封装public class OrderBean implements WritableComparable<OrderBean>{ private String orderId; private String userId; private String pdtName; private float price...
2019-08-08 11:29:18
172
原创 hdfs与Windows的增删改查交互
Configuration参数加载机制构造时先加载jar的默认配置xx-default.xml在加载用户配置的xx-site.xml，覆盖默认参数构造完成后还可以conf.set，再次覆盖之前的配置FileSystem fs=null;@Beforepublic void inti() throws Exception {//new Configuration()会从clas...
2019-08-08 11:19:46
171
原创 大数据——mapreduce在linux系统上的yarn集群中运行
第一步：编辑mapreduce中的java代码（map逻辑和reduce逻辑）重点是更改提交类中的main方法/** * 如果要在hadoop集群的某台机器上启动这个job提交客户端的话 * conf里面就不需要指定 fs.defaultFS mapreduce.framework.name * * 因为在集群机器上用 hadoop jar xx.jar cn.edu360.m...
2019-08-08 11:10:21
167
原创 用java程序进行对linux上的zookeeper的增删改查
一：先构造一个连接zookeeper的客户端对象 ZooKeeper zk = null;//表示在任意使用@Test注解标注的public void方法执行之前执行 @Before public void init() throws Exception{ // 构造一个连接zookeeper的客户端对象 zk = new ZooKeeper("hdp-01:2181,hdp-...
2019-08-08 11:03:58
173
原创 zookeeper在linux上的集群搭建
zookeeper在linux上的集群搭建解压zookeeper配置zookeeper解压zookeeper1.用stfp等文件传输软件将linux版本的zookeeper传输到linux中2.在文件中进行解压命令为：tar -zxvf 文件名（路径+文件名） -C 解压路径3. 可以将解压后的一些无用文件删除：doc src配置zookeeper1.进入conf这个文件中，复制zo...
2019-08-08 10:22:44
93
原创 大数据——mapreduce实际应用的案例（reduce全部聚合完成后，重新排序）
案例：Log文件：2017/07/28 qq.com/a2017/07/28 qq.com/bx2017/07/28 qq.com/by2017/07/28 qq.com/by32017/07/28 qq.com/news2017/07/28 sina.com/news/socail2017/07/28 163.com/ac2017/07/28 sina.com/news/soc...
2019-08-08 10:21:55
1100
1
原创 大数据——mapreduce实际应用的案例（map输出value为对象）
public class User implements Writable { private int num; private int a; private int b; private String phone; public User() { } public User(int a, int b, String phone) { this.num = a + b; this.a = a; thi
2019-08-08 09:57:36
1381
3
原创 linux防火墙打开关闭命令？？？设置开机不自启防火墙
关闭防火墙：systemctl stop firewalld.service开启防火墙：systemctl start firewalld.service关闭开机自启动：systemctl disable firewalld.service开启开机启动：systemctl enable firewalld.service...
2019-08-03 16:18:48
1626
原创 大数据——手把手分布式yarn集群安装
yarn是一个分布式程序的运行调度平台yarn中有两大核心角色：1、Resource Manager接受用户提交的分布式计算程序，并为其划分资源管理、监控各个Node Manager上的资源情况，以便于均衡负载2、Node Manager管理它所在机器的运算资源（cpu + 内存）负责接受Resource Manager分配的任务，创建容器、回收资源2.2.YARN的安装node...
2019-08-03 10:13:51
384
原创 在启动hadoop集群时遇到datanode节点的真实性？怎么办？看这里。。。
在启动hadoop集群时遇到datanode节点的真实性，这个问题就是得重新配置免密，重新发送公钥后在输入-f，这样DataNode节点的真实性问题解决了
2019-08-02 17:26:44
174
原创 大数据——手把手教你数据节点服役和退役
6.5 服役新数据节点0）需求：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。1）环境准备（1）克隆一台虚拟机（2）修改ip地址和主机名称（3）修改xcall和xsync文件，增加新增节点的同步（4）删除原来HDFS文件系统留存的文件/opt/module/hadoop-2.7.2/data2）服役新...
2019-08-02 17:19:03
542
原创 linux虚拟机开启HDFS分布式集群成功，但是网页可视化界面连接不到datanode怎么解决？？？
linux虚拟机开启HDFS分布式集群成功，namenode和datanode能够正常运行开启但是网页可视化界面：http://192.168.66.100:50070/dfshealth.html#tab-overview连接不到datanode，解决方案是：在hdfs-site.sh里面加 dfs.namenode.datanode.registration.ip-host...
2019-08-02 09:48:22
1257
原创 大数据————HDFS分布式搭建
安装hdfs集群1、上传hadoop安装包到hdp-012、修改配置文件要点提示 核心配置参数：1)指定hadoop的默认文件系统为：hdfs2)指定hdfs的namenode节点为哪台机器3)指定namenode软件存储元数据的本地目录4)指定datanode软件存放文件块的本地目录hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoop/...
2019-07-31 11:01:16
247
原创 大数据——手把手教你HDFS搭建
第一步：在虚拟机上安装hadoop环境使用XFTP工具，将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。第二步：解压hadoop命令：cd /opttar -zxvf hadoop******* -C /usr/local/ 解压hadoop压缩包到 /usr/local/ 路径下解压成功以后看一下local下面的所有文件第三步：删除解...
2019-07-30 11:40:50
3062
原创 大数据——搭建服务器集群之修改虚拟机名称和配置IP映射
第一步：修改服务器名字命令：vi /etc/hostname一般“主”虚拟机为master,"从”虚拟机为slave保存退出。第二步：重启虚拟机命令：reboot第三步：配置IP映射命令：vi /etc/hosts将IP地址和名称相互映射写在文档里保存退出完成！！！...
2019-07-29 16:31:44
960
原创 大数据——搭建服务器集群之免密登录
前提：已经搭建一台虚拟机，该虚拟机基本配置已完成或空白都可以，因为建立另一台用clong。第一步：clong一台新的虚拟机。1、关闭正在运行的“主”虚拟机，在虚拟机名称处，右键管理——>克隆 下一步******安装成功2、在“从”虚拟机中更改设备ID号（因为克隆的虚拟机应该有自己的ID号）。3、配置“从”虚拟机的IP地址开启“从”虚拟机后进入网络配置文件更改（更改方式可参考本人...
2019-07-27 20:35:03
728
原创 虚拟机安装JDK
第一步：oracle官网下载linux版本的jdk版本网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html第二步：利用XFTP工具将压缩文件放到指定目录我的目录是/usr/local第三步：解压jdk在Xshell中cd进入jdk压缩包所在目录下，输入解压命令：t...
2019-07-27 19:49:12
276
原创 shell基础编写（一）
一、运行环境shell脚本编写在linux项目中。开启Xshell连接到虚拟机，搭建好环境开始编写demo二、执行“hello world”1、cd /tmp 进入到tmp文件夹中。2、vi demo.sh 创建并编写demo.sh文件，在里面写shell语句3、#！/bin/bash 编写固定头部 #author:laoyue 注释作者4、echo “hello wo...
2019-07-26 15:07:35
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人