qq_40233706的博客

原创 Spark_Day11

今日收获：

原创 Spark_Day10

今日收获：

原创 Spark_Day09

今日收获：

原创 Spark_Day08

今日收获：

原创 Spark_Day07

今日收获：

原创 Spark_Day06

今日收获：

原创 Spark_Day05

今日收获：

原创 Spark_Day04

今日收获：

原创 Spark_Day03

今日收获：

原创 Spark_Day02

今日收获：

原创 Spark_Day01

今日收获：

原创 Scala第四天

今日收获：

原创 Scala第三天

原创 Scala第二天

今日收获：

原创 Scala第一天

今日收获:

原创 HBASE_Day03Hbase实战之新浪微博（HBASE重点是预防和rowkey设计，shell命令）

今日收获:

原创 HBase_Day02

今日收获：

原创 HBase_Day01

今日收获：

原创 ELK(实时海量日志数据分析平台)协议栈_Day02

今日收获：

原创 ELK(实时海量日志数据分析平台)协议栈_Day01

今日收获:

原创 Redis

今日收获:

原创 kafka企业级消息系统_Day02

今日收获：

原创 kafka企业级消息系统_Day01

今日收获：1.这个程序是什么？kafka是一个分布式，分区的，多副本的，多订阅者的日志系统，可以用于搜索日志，监控日志，访问日志等2.作用是什么？应用解耦 流量控制 日志处理 消息通讯3.要怎么部署好？见博客kafka集群的搭建：https://blog.csdn.net/qq_40233706/article/details/103765257...

原创 hadoop项目--网站流量日志分析--Day05

今日收获：

原创 hadoop项目--网站流量日志分析--Day04

今日收获：

原创 hadoop项目--网站流量日志分析--Day03

今日收获：

原创 hadoop项目--网站流量日志分析--Day02

今日收获：

原创 hadoop项目--网站流量日志分析--Day01

今日收获：

原创 柯里化与惰性求值

柯里化是函数式编程里的概念。理论上说，柯里化是把接受多个参数的函数变换成接受一个单一参数（最初函数的第一个参数）的函数，并且返回接受余下的参数而且返回结果的新函数的技术。例如有函数：subf1{my($a,$b)=@_;$a+$b;}这里f1接受2个参数。所以如果我们固定$b=1，就得到subf1(1)，这是一个接受1个参数的新函数，这个过程便叫做柯里化。实际上，...

转载 Excel数据导入到Oracle数据库中的几种方法

1，通过PLSQL手动复制粘贴到ORACLE数据表中；2，使用EXCEL批量制作SQL脚本，然后拿到数据库中执行；3，使用PLSQL工具导入；4，通过JAVA代码编程的方式解析EXCEL数据；注：当然了，有的时候可能用户提供的不是EXCEL，是 .CSV、 .TXT等等格式，可以考虑先将其转换或者导入到EXCEL中，然后进行相关操作，或者直接操作。------------...

转载 Scala中的下划线使用总结

Scala中的下划线使用总结：1. 方法转化为函数例如：def m1(x:Int,y:Int)=x*y val f1=m1 _2. 集合中的每一个元素例如：val list=List(1,2,3,4)val list1=list.map(_ * 10)3. 获取元组Tuple中的元素例如：val t=("hadoop",3.14,100) t._1 ...

原创 面试试题一之Flume，HDFS

flume是什么？Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采 集、聚合和传输的软件。评论管理Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到 指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前， 会先缓存数据(channel),待数据真正到达目的地(sink)后，flume 在删除自己缓...

转载 这是目前我用过最好的一个小程序开源库

最近我章鱼猫在做一个小程序，如果你是经常使用小程序的用户，大家应该知道，小程序可以转发给朋友，转发到群里，唯独不能转发到朋友圈，为此，大家如果想把小程序里的某一个页面或者活动转发到朋友圈，大家采取的办法就是：生成朋友圈海报。朋友圈海报，简而言之就是生成一张带有小程序码的图片。而生成图片，一般都是用小程序上的 canvas ，每次都写 canvas 是不是太麻烦了呢？为了很多...

原创 联想笔记本屏幕突然变得很暗亮度无法调节解决方法

解决方法：开机的瞬间按紧调亮键今天一个朋友遇到这样的问题 他的是联想z500系列按了F12 和 Fn + F12没用使用了调节电池性能的方法也没用使用了命令：adb shell settings put system screen_brightness 150 用管理员权限去执行了也没用后来实在不行给他说了删除注册表的方法：修改注册表。 √<1...

转载 Linux启动与进程：前台进程和后台进程

操作系统中，前台进程和后台进程有什么区别？特征是什么？后台程序基本上不和用户交互，优先级别稍微低一点前台的程序和用户交互，需要较高的响应速度，优先级别稍微高一点直接从后台手工启动一个进程用得比较少一些，除非是该进程甚为耗时，且用户也不急着需要结果的时候。假设用户要启动一个需要长时间运行的格式化文本文件的进程。为了不使整个shell在格式化过程中都处于“瘫痪”状态，从后台启动这个进程是明...

原创 生态圈辅助工具_Day07_Apache Hue-（整合hdfs、yarn、hive、mysql、oozie、hbase、impala）

今日收获：Apache Hue 掌握Apache Hue 概述和架构 掌握Apache Hue 编译安装 掌握Apache Hue 与常见软件的集成

原创 生态圈辅助工具_Day06_Linkedin Azkaban-（安装部署、实战）

今日收获：Azkaban 掌握工作流含义 掌握Azkaban概述和原理架构 掌握Azkaban安装部署 掌握Azkaban调度使用 掌握Azkaban定时任务的使用 ...

原创 生态圈辅助工具_Day05_Apache Sqoop-（安装部署、导入import、导出export）

今日收获：Apache Sqoop 掌握Apache Sqoop介绍安装 掌握Apache Sqoop全量数据导入 掌握Apache Sqoop增量数据导入 掌握Apache Sqoop数据导出 理解Apache Sqoop job作业 ...

原创 生态圈辅助工具_Day04_Apache Kudu-（安装部署、Java操作、Spark操作、整合impala、数据模型、读写流程）

今日收获：Apache Kudu 掌握Apache Kudu概述和应用场景 理解Apache Kudu架构 掌握Apache Kudu 安装部署 掌握Apache Kudu java操作 掌握Apache Kudu spark操作 掌握Apache Kudu 集成impala 理解Apache Kudu 原理 ...

原创 生态圈辅助工具_Day03_Apache Oozie-（安装部署、调度shell、hive、mr、集成hue）

今日收获：Apache Oozie 掌握Apache Oozie概述和原理架构 掌握Apache Oozie工作流类型 掌握Apache Oozie 安装部署 掌握Apache Oozie常见的调度使用 掌握Apache Oozie和hue整合 ...