互联网技术个人笔记
个人整理笔记,包括大数据.,java前后端,微服务等
爱学大树锯
深耕大数据技术与开发,熟悉Java、scala、python
展开
-
大数据技术之复习篇
大数据技术之复习篇文章目录前言前言本文为课程笔记,本着“只有亲身实践过并整理成体系才属于自己真正掌握的知识” 的理念写出本篇文章,后续每天更新,持续关注,欢迎留言讨论~。简述个人情况:实习三个月刚刚结束,目前0offer。三月中旬离职,三月下旬准备自己的毕业论文,现在还在修改,说不慌是假的,但也没办法,慌也没用。静下心来,好好反思自己哪一块还存在欠缺,不做无用功,你学的越多,面试失败的可能性越大,针对简历上的东西,面试官之前问到的知识点查漏补缺,尤其是算法这块,自己真的是此次掉进坑里,爬不原创 2021-03-29 19:58:29 · 237 阅读 · 0 评论 -
2021-03-11
[3] R. Sethi, M. Traverso, D. Sundstrom, D. Phillips, W. Xie, Y. Sun, N. Yigitbasi, H. Jin, E. Hwang, N. Shingte, and C. Berner. Presto: SQL on everything. In IEEE 35th Int. Conf. on Data Eng. (ICDE), pages 1802–1813, 2019.[4] IOANNIDIS,Y.AND KANG, Y. 199原创 2021-03-11 01:17:48 · 106 阅读 · 0 评论 -
k8s常用命令
k8s常用命令一,kubectl 命令行的语法如下: kubectl [command] [TYPE] [NAME] [flags]上面的命令是: kubectl命令行中,指定执行什么操作(command),指定什么类型资源对象(type),指定此类型的资源对象名称(name),指定可选参数(flags),后面的参数就是为了修饰那个唯一的对象属于典型的英文语法,比如你是老师,你说,小明(kubectl)买(command)方便面(type)老坛酸菜方便面(name)桶装的(flag)。命令的根原创 2021-03-10 10:27:21 · 9886 阅读 · 0 评论 -
2021-03-05
lk:default> EXPLAIN SELECT comment FROM tpch.sf1.nation WHERE nationkey > 3;- Output[comment] => [[comment]] Estimates: {rows: 22 (1.69kB), cpu: 6148.25, memory: 0.00, network: 1734.25} - RemoteExchange[GATHER] => [[comment]]原创 2021-03-05 12:57:51 · 75 阅读 · 0 评论 -
一节课轻松通关 Spark
大数据跟我学系列文章007-三节课轻松通关 Spark (一)文章目录大数据跟我学系列文章007-三节课轻松通关 Spark (一)前言第01讲: MapReduce:计算框架和编程模型第02讲:Hadoop:集群的操作系统第03讲:如何设计与实现统一资源管理与调度系统第04讲:解析 Spark 数据处理与分析场景第05讲:如何选择 Spark 编程语言以及部署 Spark0 + 1 + 2 + 3 + 4关闭第06讲:Spark 抽象、架构与运行环境第07讲:Spark 核心数据结构:弹性分布式数据集转载 2021-02-27 02:31:43 · 1779 阅读 · 0 评论 -
《Presto(Trino)——The Definitive Guide》Presto指南20版
Presto系列文章目录This book provides a great introduction to Presto and teaches you everythingyou need to know to start your successful usage of Presto.—Dain Sundstrom and David Phillips, Creators of the PrestoProjects and Founders of the Presto Software Fou原创 2021-02-25 23:04:31 · 1778 阅读 · 3 评论 -
2021-02-04
打卡,图,并查集三道题原创 2021-02-04 23:29:50 · 95 阅读 · 0 评论 -
打卡2
打卡2,算法:二叉搜索树,字典树和哈希表原创 2021-02-03 23:34:26 · 58 阅读 · 0 评论 -
打卡1
打卡签到,算法刷题,三道题。原创 2021-02-02 23:30:30 · 50 阅读 · 0 评论 -
《实习至半,青葱少年,三十而已》
2月第一天,为期两个月的实习终于汇报完了,没有想象的那么难,也没有想象的那么简单,毕竟自己怎么准备的心里清楚的很,没有接触源码,阅读源码的习惯,只停留在初级阶段,加油吧,每天坚持刷完九道题目,刷不完就不睡了,另外多看书,多背,多读源码理解,少看花边新闻,无聊的段视频浪费时间啊!没多少时间了,春节过后都快三月份了!这两个月是成长最快的,加油!青葱少年,三十而已!...原创 2021-02-01 23:06:20 · 188 阅读 · 0 评论 -
Presto 的REST ful提交流程
《Presto技术内幕》Presto体检流程解析:4.3提交查询的流程从前面的章节可以看出,提交查询的流程如下所示。(1)生成查询的初始RESTful请求,并发送给 Coordinator(2)Coordinator处理 RESTful请求,执行查询,并将部分查询结果和用于 Client获取下一批查询结果的 RESTful请求地址 nextResultsURI一起返回给(3)Client端获得 Coordinator返回的部分查询结果并进行显示,若所有查询结果均己求获取下一批查询执行结果。经获原创 2021-01-29 15:35:09 · 256 阅读 · 0 评论 -
2021-01-20《RESTful 架构详解及REST与RPC架构对比》
《Web服务之 restful与rpc风格初探及restful架构详解》restful与rpc风格在目前主流的三种Web服务交互方案中,REST相比于SOAP(Simple Object Access protocol,简单对象访问协议)以及XML-RPC更加简单明了,无论是对URL的处理还是对Payload的编码,REST都倾向于用更加简单轻量的方法设计和实现。REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。什么是restful,简称rest?原创 2021-01-20 09:34:31 · 108 阅读 · 0 评论 -
坚持算法刷题第一天
今天终于做几算法题了,计划赶不上变化,算法题只做了五道,不过也只是刚刚开始,总比没有好,下面做的就是继续努力,坚持!每天五道看能坚持多久?jdbc了解了一下,其他的Java面试知识32个知识点大致过了一下音频,发现好多知识漏洞。比如kafka原理,数据库的acid基本的都没掌握牢靠...原创 2021-01-16 23:36:40 · 140 阅读 · 0 评论 -
最后一天回去做实验2
今天hive集成KEROBERS非容器化装了一天,遇到了各种问题,最后解决办法是在72.136集群装非容器化的hive3,因为这个集群是按照容器化设计的,必须新添加租户,最后租户添加找了好几个人失败告终。晚上6点多回到宿舍洗澡洗了一个小时,八点从地铁坐到学校门口,一个半小时才到。十点开始实验,忙到十一点,晚上和小洪闲聊了一会,该睡觉了,明天继续努力。算法这周也是一道题没刷,明天目标是四个算法课补齐,攻下树结构。加上理解开发csv connect or,再加上半天左右实验。...原创 2021-01-15 23:56:07 · 85 阅读 · 0 评论 -
继续工作,加油!
打卡打卡,继续工作两个小时原创 2021-01-13 23:55:18 · 60 阅读 · 0 评论 -
总结,开始看presto源码
忙了一天,整理SQL建表语句和不支持的原因,好吧,Hbase崩了,没办法测试。动态过滤现在还不懂是什么,数据布置了新作业,让看presto原码,加油!好好搞起来。争取把最优先级的任务先完成:测试结果对比,源码分析:连接器hudi, iceberg重点开发的代码SPI部分,RESTAPI部分。今天就先把connect or开发,REST的部分先整理了,明天好好理解下。...原创 2021-01-12 23:47:54 · 611 阅读 · 1 评论 -
明天汇报工作?
从早上。忙到现在,集群问题真的多,hive出错,Hbase崩溃,这次做啥。。。明天再说吧,早下班早舒心。原创 2021-01-11 23:59:00 · 123 阅读 · 0 评论 -
返校做实验
今天做了一天实验,犯拖延症的我,早上六点多起床,刷个牙洗个头摸了一个小时7/30,到地铁8点,回学校下地铁凤起路九点了,不得已打了车9/30到,做实验10点,重点浪费了一个小时回了宿舍和试剂部,晚上拖了贺老师一个小时,拖延症真的很严重。哎!明天计划,把PPT做了,一定要做完,不要磨蹭了,后天回学校做实验,提前回去。...原创 2021-01-08 23:43:30 · 103 阅读 · 0 评论 -
阶段2日志
从早上九点忙到现在,本来可避免的坑让我的不细心重新踏过,反独操作,Open lk终究跑通,动态目录也成功了。插数据插了一晚上,本想让他半夜跑一跑。什么也没做,明天滚回学校做实验了。...原创 2021-01-07 23:50:27 · 60 阅读 · 0 评论 -
《工作之余的反思?
感觉每天的计划都相当于泡汤了,为什么我效率这么低下?每天干不完的事情?效率怎么提高?怎么抽时间去学其他的?原创 2021-01-05 23:56:04 · 90 阅读 · 0 评论 -
2021年新年计划
一月月度计划,刷完算法高频100道,总结套路一月学习计划,http网络编程,jvm,并发编程学会一月复习计划,Java基础5天,jvm5天,并发编程5天,全部要会,spark5天,spark streaming5天,hbase五天每天刷题,至少5道,总结,每天坚持听一课时补一节课,大约花费4h每天坚持刷算法面试十道大约2h每天做一个单元的Java,大约2h...原创 2021-01-01 22:10:37 · 216 阅读 · 0 评论 -
暑假实习报告明天截止?
今天装了mysql8报了很多错,想学个东西容易吗?环境这个事情又花了我半天时间,只有不到半天来学习mysql。哎,不会抓重点,要不然昨天就学完了,今天就可以把给做的事情提前昨完,不得已,又要写暑假实习报告,得熬夜啊。争取四点结束战斗吧!?...原创 2020-12-30 23:30:24 · 87 阅读 · 0 评论 -
验证完动态目录和装环境浪费的半天
彻夜没搞好,早上决定换个集群试试,总感觉是集群的问题,就是找不出,然后边做笔记边实验。昨晚搞到凌晨四点半,写完周记,回去倒头就睡,一直睡到早上十点吧。总算时间休息过来了。下午把文档整理好,四点了,本可以看看SQL,搞了环境两个小时,没搞好,晚上又装各种压缩包软件,有点求大求全,也没刷题,浪费了七八个小时。准备干到三点了,最好别。还是这个臭毛病,做的规划永远完不成,贪大求全,陷入死胡同!...原创 2020-12-29 23:58:58 · 59 阅读 · 0 评论 -
验证一天了,兲瞎了
今天啥题也没背,上午学了两个小时SQL,被主管要求写周报,不得已干到现在,验证动态目录,验证一周啥也没验出来,贼难受!原创 2020-12-28 23:11:32 · 46 阅读 · 0 评论 -
复习方略
今天本来想刷算法,刷SQL的,从下午忙到现在,实际工作不超过一个小时,都在忙着配动态目录,结果huawei那边也不清不问题出在哪里,周一会给到完整的curl命令,画了一个思维导图,电脑上画的,果然记忆深刻。算法一周没刷题了,早读连续两周半个月多没搞了,说实话确实浪费了不少宝贵的时间,要学会抓重点,还想两头兼顾不落空的话就必须时时刻刻规划好自己的事情!看了下实习的工作薪酬时间是周一到周五有工资,加班也白加班。所以为何不把时间用来复习呢?下面简单说一下复习的时间规划:6:30–9:30早读18:00–2原创 2020-12-26 23:59:23 · 72 阅读 · 0 评论