- 博客(76)
- 收藏
- 关注
RSS订阅原创 花之语第十五期：海棠花
1、 海棠极为耐寒，在零下15℃的地方也能生长的很好2、海棠花喜阳，需要保证阳光充裕1、苦恋：苦苦爱恋着一个人，却终究没有结果，又称断肠花。（小故事：古时候，常常把海棠花用来比喻一对热恋的男女，无奈分别时的痛楚）2、游子思乡昨天委托别人给小万打了最后一通电话，对于她我一直都很愧疚。年少时一无所有，无人问津。真诚的心经历了无数次的冷落之后，慢慢的躲了起来。独自一人走到现在，事业渐有起色，但是对异性的容忍性越来越低，付出的时候也越来越慎重。人永远无法弥补自己犯下的错，珍惜每一个遇到的人。...
2022-07-03 23:46:38
220
原创 Azkaban3.x的简单用法
一个轻量级的工作流调度系统1、azkaban-db：依赖Mysql，将一些工作流必备的数据表刷到Mysql中2、azkaban-exec-server：执行任务的服务器3、azkaban-web-server：配置或者上传任务的服务器（8081端口对应配置页面）1、创建 test.project 文件2、创建 test.flow 文件3、创建 jobA.sh 文件
2022-05-31 23:40:40
134
原创 Flume内部原理及事务（三）
一、内部原理二、source + sink事务三、事务源码下面是commit时，如果失败。在Channel预留takeList回滚放回的空间，相关源码。四、Flume会丢失数据吗？会出现重复数据？由于source事务发生异常时，回滚操作是将putList数据直接丢弃，所以是否丢失数据与source类型有关。例如：netcat不记录游标，故会丢失数据。tailDirSource会记录position，提交成功会提交position，失败则不提交最新的position，所以不会丢失数据。s
2022-05-02 00:48:01
400
原创 Flume的常用案例（二）
一、监控端口数据对应配置文件 flume-netcat-logger.conf# Name the components on this agent# r1、k1、c1表示souce、sink、channel的名称a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the source# type表示 a1 的输入源是 netcat 端口类型，下面两项表示 a1 监听的主机、端口a1.sources.r1
2022-04-17 22:04:45
1795
原创 Flume简介（一）
一、Flume是什么？ Flume 是分布式的海量日志采集、聚合和传输的系统。二、它主要用来干啥？ 最主要的用途：实时读取本地日志文件，并上传到HDFS三、架构及组成部分
2022-04-17 21:14:43
2455
原创 花之语第十四期：萱草花
一、初识二、习性1、性强健，耐寒，华北可露地越冬，适应性强；2、喜湿润也耐旱，喜阳光又耐半荫；3、对土壤选择性不强，但以富含腐殖质，排水良好的湿润土壤为宜；4、适应在海拔300-2500米生长。三、花之语1、大家都知道康乃馨是母爱的象征，但是我国也有一种母亲之花，那就是萱草，萱草花的含义是永远爱你，母亲！2、萱草又被称为忘忧草，代表“忘记一切不愉快的事情”，因此它的花语中也有“遗忘的爱”。3、萱草的第三个花语是放下他（她），放下忧愁，隐藏起来的心情。四、感悟记得上初中的时候，最喜欢玩
2022-02-10 22:01:20
2203
原创 Hive调优笔记（二）
一、CBO优化基于成本的优化器（默认已开启），参数设置set hive.cbo.enable=true;set hive.compute.query.using.stats=true;set hive.stats.fetch.column.stats=true;set hive.stats.fetch.partition.stats=true;谓词下推（默认为true）set hive.optimize.ppd=true;例子：o 表的 o.id 会在 reduce 之前经历 filte
2021-12-26 15:07:50
1202
原创 Hive调优笔记（一）
一、本地模式与Fetch设置<-- 1、文件： hive-default.xml.template--><-- 2.1、在全局查找、字段查找、 limit查找等都不走MR-->hive.fetch.task.conversion=more<-- 2.2、所有查询全走MR-->hive.fetch.task.conversion=none<-- 3.1、开启本地MR，对于小数据集，执行时间可以明显被缩短-->hive.exec.mode.loc
2021-12-26 14:06:00
779
原创 大数据常用Shell脚本（二）
一、read命令等待用户输入，赋值给后面的变量t 代表间隔多少sp 代表提示信息name用于接收输入的变量read -t 7 -p "请输入你想打印的文字：" nameecho $name二、常用命令cut：从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出在linux输入tab，在单引号中 ‘’ 先按ctrl+v，再按tab#cut.txt内容，以tab分隔============================dong shenguan zhenwo wo
2021-09-15 00:26:30
201
原创 大数据常用Shell脚本（一）
一、系统变量$HOME$USER$PWD$SHELL二、自定义变量定义变量（a=2），变量名由数字、字母、下划线；1.1 环境变量名建议用大写字母，JAVA_HOME1.2 等号两侧不能有空格1.3 变量默认都是字符串，无法直接进行数值运算1.4 变量的值有空格，建议用双引号撤销变量（unset a）声明静态变量（readonly a=2），不能被撤销# 1、定义普通变量，输出1a=1echo $a# 2、撤销变量，输出为空unset aecho $a# 3、定义
2021-09-14 22:48:31
483
原创 Hadoop3.2.2集群时间同步
一、yum下载ntp、ntpdate包（hadoop100作为server，hadoop101作为client）yum -y install ntp ntpdate二、修改hadoop100的配置文件/etc/ntp.conf# 1、注意这里的192.168.116.0是根据自己的ip网段设置的，允许该网段所有服务器能访问本机restrict 192.168.116.0 mask 255.255.255.0 nomodify notrap# 2、不使用其它互联网上的时间，将下面这些注释掉#s
2021-09-08 00:31:09
131
原创 Hadoop3.2.2集群分发同步脚本
一、scp（secure copy）scp可以实现服务器与服务器之间的文件拷贝基本语法# -r是递归# pdir是目录名，filename是文件名# user是目标服务器的用户名，hostip是目标服务器ip地址scp -r $pdir/$filename $user@hostip:$pdir/$filenamescp -r /opt/hadoop3.2.2 root@hadoop101:/opt/hadoop3.2.2复制完成，如果需要修改文件所属组，使用如下命令。本人都是root
2021-09-06 00:38:52
183
原创 Oozie使用详解
一、oozie4.3.0调用shell编写workflow.xml<!--Workflow-DEF-NAME--><workflow-app xmlns='uri:oozie:workflow:0.3' name='shell-wf'> <!--shell1: node-name --> <start to='shell1' /> <action name='shell1'> <shell xmln
2021-09-04 01:24:16
374
原创 Hadoop3.2.2完全分布式环境搭建
一、集群部署规划hadoop100：NameNode、DataNode、NodeManagerhadoop101：SecondaryNameNode、DataNode、ResourceManager、NodeManager二、首先修改hosts文件vi /etc/hosts三 、配置系统必须的环境变量（java+hadoop）# 1、修改配置文件vi /etc/profile#==========分界线 start=============# set java homeJAVA_H
2021-09-01 00:35:17
599
原创 花之语第十三期：菊花
一、初识二、习性菊花喜欢阳光，适合在阳光充足的地方生长。对于土质要求不高，可以用富含腐殖质的沙壤土。喜欢肥料施加，这样才能保证充足的养分供给开花。三、花之语淡泊名利长寿哀思四、感悟今天是中元节，我只知道是个祭祀的日子。...
2021-08-22 23:59:17
108
原创 2021已走过的路
一、写在前面 离职已经快一个月了，想来也要写点什么记录一下。总的来说，不甘心是真的，意难平也是真的，但我都不后悔。二、难过的五月 2019年12月，我正式踏上了自己的Java研发之路。时隔两年，再回首，我知道我的时间没有浪费。 我是一个功利的人，我始终认为：“ 如果付出的努力与隐忍，不能换来应有的回报，那就不会获得真正的开心”。所以在历经海投300封简历石沉大海，又在520前夕被拒绝了之后，我的心情跌落到了谷底，也开始了自我怀疑与抱怨。我觉得这个世界真的太不公平了，学了那么多有个鸟用。 成
2021-08-16 00:49:12
188
3
原创 初识Redis（一）
一、redis主要是干嘛的？解决CPU及内存压力（分布式session共享问题）解决IO压力（热点数据加载问题）二、redis常用的5种数据结构String：底层是简单的动态字符串，类似于ArrayList。采用预分配冗余空间的方式，来减少内存的频繁分配。List：底层是双向链表，是将多个zipList用双向指针连接起来，形成的quickListSet：没有重复元素的集合，底层是一个value为null的hash表，所以增删查时间复杂度都是O(1)Zset：底层
2021-07-06 00:14:55
83
原创 花之语第十二期：君子兰
一、初识长春市的市花；盛花期自元旦至春节，以春夏季为主，可全年开花，有时冬季也可开花，也有在夏季6-7月间开花的；果实成熟期10月左右，属浆果，紫红色。二、习性它既怕炎热又不耐寒，喜欢半阴而湿润的环境，畏强烈的直射阳光；生长的最佳温度在18-28℃之间；君子兰喜欢通风的环境，喜深厚肥沃疏松的土壤，适宜在疏松肥沃的微酸性有机质土壤内生长；君子兰是著名的温室花卉，适宜室内培养。三、花之语温文尔雅、谦谦有礼，有才华而不骄傲，有志气而不傲慢。：君子兰的叶片光滑肥厚，极具观赏价值，叶子
2021-06-02 23:31:18
229
1
原创 花之语第十一期：满天星
一、初识原名为重瓣丝石竹，原产地中海沿岸。花期6-8月，果期8-9月。二、习性喜温暖湿润和阳光充足的环境 ，适温为15 C～25 C；在 30 C 以上或 10 C以下容易引起莲座状丛生，只长茎不开花；土壤要求疏松，富含有机质，含水量适中，PH7左右；三、花之语思念、青春、梦境、真心喜欢。它蕴含着清纯、致远、浪漫的意思。当别人送你一捧满天星意味着我在思念你，你是清纯的，给我一个梦境，我是真心喜欢你的，拥有你我很喜悦，这是我想给你的浪漫。还有我们一起守望爱情、让我关怀你把、思恋(
2021-05-30 23:31:41
108
原创 设计模式：装饰器模式
一、解决什么问题？在不想增加很多子类的前提下拓展类二、菜鸟教程案例三、思考看完这个案例，我感觉自己好迷惘。。。自己目前能理解到的层次是：为了能让类结构较为清晰，Shape接口的子类有其自己的作用，而抽象类ShapeDecorator是作为Shape类的拓展，能破坏里氏替换原则，从而进行自由度更高的拓展。...
2021-05-30 23:17:20
46
原创 花之语第十期：木棉花
一、初识广州市市花；也叫“英雄花”，因为它开得红艳但又不媚俗，它的壮硕的躯干，顶天立地的姿态，英雄般的壮观，花瓣的颜色红得犹如壮士的风骨，色彩就像英雄的鲜血染红了树梢；花期为 3 - 4 月；二、习性向阳，喜高温湿润气候，适应性强，不耐寒，在南方可露地越冬；在微酸性至中性肥沃土壤上生长良好， 耐干旱、瘠薄，不耐水湿，易于引种广栽；深根性，萌芽性强，生长迅速。生长最适温度为 23 ～ 31 ℃三、花之语珍惜身边人、眼前的幸福：花开时叶子会全部落下，枝干上只留下红色的花朵，渐渐会
2021-05-27 23:07:22
191
原创 设计模式：过滤器模式
一、解决什么问题？使用不同的标准来过滤一组对象。二、菜鸟教程案例定义一个过滤器接口Criteria，它规定一个方法meetCriteria，接收的形参为List，返回的结果也为List编写Criteria的实现类，性别、单身、And、Or的过滤器传入PersonList，得出自己想要的结果集List三、思考这个模式非常的浅显易懂。...
2021-05-27 21:41:47
58
原创 花之语第九期：昙花
一、初识昙花享有月下美人之誉。昙花一现：昙花在晚上开花，当花渐渐展开后，过1-2小时又慢慢地枯萎了，整个过程仅4个小时左右。二、习性喜温暖湿润的半阴、温暖和潮湿的环境；不耐霜冻，忌强光暴晒。春季和夏季生长适宜温度为白天21 - 24℃，夜间16 - 18℃。冬季要入温室，放在向阳处，要求光照充足，越冬温度以保持10~13℃为宜。三、花之语刹那间的美丽，一瞬间的永恒。四、感悟惊艳了时光的故人如昙花一般，抓不紧也留不住。人生有95%的东西是自己无法决定的，唯有顺其自然，坦然
2021-05-26 23:54:42
254
原创 设计模式：桥接模式
一、解决什么问题？把抽象化与实现化解耦，使得二者可以独立变化。二、菜鸟教程案例说真的，看到这个图，我有点茫然。这不就是Shape类将DrawAPI接口给组合进来了吗？？？确实，Shape的变化与DrawAPI的变化，互相没有影响。三、思考设计模式的学习，目前体会均不深刻，需要大量的实战才能体会深刻。...
2021-05-26 23:22:00
57
原创 花之语第八期：郁金香
一、初识郁金香原产中国古代西域及西藏新疆一带，是土耳其、荷兰、匈牙利等国的国花。花期为 3-5 月。二、习性郁金香属长日照花卉，性喜向阳、避风。冬季喜温暖湿润，夏季凉爽干燥的气候。8℃以上即可正常生长，一般可耐-14℃低温。三、花之语热爱：红色的它非常鲜艳，异常美丽。能够带给人一种火热的感觉。纯洁：白色的它非常神圣，仿佛圣母一样，不染一丝尘埃。幸福：粉色的它非常可爱，能够让见到它的人感到温馨。高雅：黄色的它有一种优雅、富有的气质。高贵的爱：紫色有着红色的浪漫与黑色的忧伤，
2021-05-25 23:51:39
170
原创 设计模式：适配器模式
一、解决什么问题？系统需要使用现有的类，而这个类的接口无法满足系统的需要。二、菜鸟教程案例MediaPlayer接口、AudioPlayer类都是原本已存在的；但是AudioPlayer只能播放mp3格式的视频。现在的需求是，利用现有的AudioPlayer播放 mp4、vlc 格式的视频！关键步骤就是新增一个适配器类MediaAdapter，它实现了与AudioPlayer相同的接口，它自己聚合了AdvancedMediaPlayer这个接口（这个接口支持mp4与vlc格式的播放功能）
2021-05-25 23:29:50
85
原创 花之语第七期：栀子花
一、初识5-7月开花，花、叶、果皆美，花芳香四溢。是岳阳市的市花。二、习性喜光照充足且通风良好的环境，但忌强光曝晒。宜用疏松肥沃、排水良好的酸性土壤种植。三、花之语喜悦：栀子花在夏季盛开，不畏炎热，给人们带来喜悦。永恒的爱与约定：它从冬季开始孕蕾，直到夏季才会绽放，或许等了那么久，只是为了一个爱的约定。一生的守候、坚持：它的叶子四季常绿，历经风霜而不凋谢，表现着坚韧的生命本质。四、回忆今晚与父亲一同前往河边锻炼的路上，一股浓郁的栀子花香扑鼻而来。记得小时候母亲会在每个房间
2021-05-24 23:46:58
153
1
原创 设计模式：原型模式
一、解决什么问题？用于创建重复的对象，同时又能保证性能。二、如何使用？首先定义一个User类，它必须实现了Cloneable接口，重写了clone()方法。public class User implements Cloneable { private String name; private int age; @Override protected Object clone() throws CloneNotSupportedException {
2021-05-24 23:22:49
267
7
原创 花之语第六期：茉莉花
一、初识是木犀科、素馨属直立或攀援灌木，高达3米。茉莉花极香，花期在5-8月，果期是7-9月。二、习性茉莉性喜温暖湿润，在通风良好、半阴的环境生长最好。大多数品种畏寒、畏旱，不耐霜冻、湿涝、碱土。冬季气温低于3℃时，枝叶易遭受冻害，如持续时间长就会死亡。三、花之语白色代表亲切、喜爱紫色代表猜忌、臆测...
2021-05-23 23:16:07
120
原创 花之语第五期：紫罗兰
一、初识属二年生或多年生草本。全株密被灰白色具柄的分枝柔毛。茎直立，多分枝，基部稍木质化。叶片长圆形至倒披针形或匙形。二、习性耐寒不耐阴，怕渍水，它适生于位置较高的地带；在霉雨天气炎热而通风不良时则易受病虫危害，施肥不宜过多，否则对开花不利；光照和通风如果不充分，易患病虫害；三、花之语白色代表想和爱人更进一步；如果你想表白、热恋或结婚，可以送白色。蓝色代表自己对爱的忠诚；如果想请求爱人的原谅，可以送蓝色。紫色代表永恒的美；如果想给暗恋对象表明曾经的爱，可以送紫色。...
2021-05-22 23:13:50
23096
原创 设计模式：建造者模式
一、前言本文仅作为个人笔记用，建议大家自行前往菜鸟教程学习。今天在菜鸟教程查看了建造者模式的代码，虽然类结构看起来非常清晰，但总是觉得get不到它的精妙之处，又或者说不知道它到底能解决什么样的问题。今天先做个笔记在这里，以后有了更深的体会再做修改。二、类图关系三、类图解释该图以麦当劳快餐店的套餐作为案例。Meal 代表套餐的种类，不同种类的套餐会有不同的元素搭配。例如鸡腿堡+可乐是肉类套餐；蔬菜堡+百事是素食套餐；Item是商品的公共接口，定义了三个核心方法。商品名称、价格、包装Packi
2021-05-22 22:52:14
69
原创 花之语第四期：梅花
一、初识中国十大名花之首与兰花、竹子、菊花一起列为“四君子”，而梅花排在首位与松、竹并称为“岁寒三友”二、习性梅花多开自雪来之际三、花之语坚毅不拔：在寒冷中无惧旁人的眼光依然花开胜雪、屹立不倒，在无论多么恶劣的环境中都能活出自己的样子。幸福和睦：梅花五瓣，象征五福。第一瓣象征和平，第二瓣象征快乐，第三瓣象征顺利，第四瓣象征长寿，第五瓣象征幸运。四、结语梅花是我最喜欢的花，没有之一。仅以此文献给那些一直默默奋斗、相信未来的人，共勉。...
2021-05-21 23:35:14
165
原创 花之语第三期：格桑花
一、初识它的故乡是西藏、青海、川西、滇西北那无边的大草原。它是西藏首府拉萨的市花。它又称格桑梅朵，在藏语中，“格桑”代表“幸福的时光”，所以也可以叫幸福花。传说不管是谁，只要他找到了八瓣格桑花，他就一定能得到幸福。二、习性它喜爱高原的阳光，也耐得住雪域的风寒。格桑花的花期在6 - 9月， 但最佳观赏期在7、8月份。三、花之语珍惜眼前人，怜取眼前人：与亲情、爱情相关，它的含义为珍惜眼前的美好生活与爱你的人，或是珍惜已老去的父母，并多多的陪伴他们。...
2021-05-20 23:06:02
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人