- 博客(235)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 终身学习者——从认知的变革开始
本书并没有花大量的篇幅告诉我们金融投资的具体知识，远不局限于此，其倒是道出了许多生活的真相；若你想为这个世界做点什么，得到什么，首先便要对这个世界有着对等的认知。当然这本书也没有偏题；“头脑”，才是你最大的财富，不是吗？另一方面，认识世界的过程也是一个认识自己的过程，大多数人终其一生都对自己没有一个对位的认知；进一步来说，人只有对自己有了足够的认识，对自己所处的世界有了足够的认识，才有可能做到更好的自我改进，甚至改变世界。有一句话叫：你赚不到超出你能力的钱。吾深以为然。
2020-10-05 13:50:53
2485
5
原创 修身十一学
每每读起十一学，思绪感慨难言以表。遂以镇楼，以常观之、思之、省之、自勉之。原文摘自：王明夫《三度修炼》气度篇修身十一学文/佚名万象未审凡几，约其范围，则“我、人、事、物”四纲。故世间学问，亦“修身、待人、接事、应物”四样。儒者首重修身，修身有成，称为内圣;次重“待人、接事、应物”，称为外用(外王)。修身有十一方面，分别是:性、情、见、念、习、智、验、知、言...
2019-12-12 21:03:48
482
原创 linux工具箱笔记
记录一些自己用的少，容易忘记的linux相关知识。1、安装scpminimal安装centos6.8是没有openssh-clients的，故而也无法使用scp命令。yum install openssh-clients：有交互安装yum install -y openssh-clients：预先授权，等待完成即可。...
2019-08-09 08:31:53
466
原创 Flink Hive Catalog操作案例
在此对Flink读写Hive表操作进行逐步记录，需要指出的是，其中操作Hive分区表和非分区表的DDL有所不同，以下分别记录。
2023-10-26 17:14:54
1630
原创 Hive安装配置笔记
hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。2、下载mysql-connector-j-8.1.0.jar放到HIVE_HOME/lib/目录下。对应节点先后启动metastore、hiveserver2服务。(3) mapred-site.xml配置。hadoop-3.3.6（已安装）mysql-8（已安装）（1）Hadoop端配置。5、测试建表与数据操作。（2）Hive端配置。
2023-10-24 20:27:43
743
原创 mysqld: File ‘./binlog.index‘ not found (OS errno 13 - Permission denied) 问题解决
Centos7 安装Mysql 8后启动时遇到的问题，看了好几个博客方案无效，搞了半小时才找到正解，在此次进行记录。
2023-10-20 14:58:28
3769
原创 我的创作纪念日——三年了
七月一来，我就算彻底告别学生身份毕业了，以后会有更多的自由学习和创作时间。未来三五年，自己会进一步向大数据架构师段位进阶。围绕这个角色，后续会从技术、管理和沟通等多个维度去构建相对应的知识结构和思维体系。在我初步接触编程被bugs卡住的时候，是社区的各位前辈指点了我。现在，我也想用萤火之光照亮后来者。...
2022-07-01 23:22:49
1391
6
原创 Flink Table API读写Iceberg表代码案例
记录Flink Table API批量写入Iceberg表，批量和实时读取表，以及和Hive表打通的一个小案例。借助Iceberg提供的ACID能力，我们可以间接完成对Hive表的细粒度数据变更操作（当然还有许多其他方面的良好支持）。......
2022-06-30 09:55:58
1899
原创 连接本地CentOS集群失败
Idea使用Spark Sql读取集群Hive表失败，报错显示无服务器无响应（`Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost`），同时SecureCRT也无法连接上集群节点。
2022-06-25 13:11:23
928
原创 程序员的阶段总结之——毕业了
前两天参加毕业论文答辩，从主席口中听到自己在答辩通过名单中的时候，我知道，三年上海求学之路已临近尾声。很奇怪，经过这三年的风风雨雨，得知自己通过应届毕业淘汰率为3/4的最终关卡之后（这一届粗略计算只有1/4的同学按时毕业），心中似乎并没有多么高昂的兴奋，可能是因为内心有一种笃定，来自于这三年的坚持。虽然这三年亦有遗憾，但所幸总体结果是好的，以后可以自称王硕士了哈哈哈哈哈，请容我自我娱乐一下。当然，同时毕业的还有自己最近一年就读的商学院，在这里我获得了自己所从事专业之外的高速成长，还有一批优秀的同学和前辈们
2022-04-30 23:52:27
372
原创 《拆掉思维里的墙》读后感
其开篇提出一个观点：有意思比有意义重要，深以为然。记得大一那会床边贴着一张纸，纸上写着：“让现在的心动拥有未来的意义”，于是错过了很多当时看起来没有意义但现在觉得很有意义的事情。但如果换个角度来看，再决定是否做一件事情之前，把有意思这一个维度考虑进来，即使后续觉得没有意义，但在做这么一件事情的时候觉得很有意思，得到了快乐，是否就能减少很多不必要的遗憾呢？后续提出的如下部分观点也是挺有趣的：无趣之人，是无胆之人安全感不是索取，而是给予你认为自己是什么样的人，就会成为什么样的人（星座学）成功是离自己
2022-03-31 21:31:10
512
原创 Flink 1.11集成Iceberg 0.12.1 报错a DynamicTableSource with SupportsFilterPushDown ability is not support
如题，从Iceberg 0.11.1 升级到0.12.1后，用Flink尝试读取Iceberg表时报错如下Exception in thread "main" java.lang.UnsupportedOperationException: Currently, a DynamicTableSource with SupportsFilterPushDown ability is not supported. at org.apache.flink.table.planner.plan.schema.C
2022-02-06 13:27:05
1657
原创 apache.solr.core.SolrResourceNotFoundException: Can‘t find resource ‘solr-data-config.xml‘
错误详情如下apache.solr.core.SolrResourceNotFoundException: Can't find resource 'solr-data-config.xml' in classpath or '/usr/sft/ranger-solr-8.10.1/ranger_audits' at org.apache.solr.core.SolrResourceLoader.openResource(SolrResourceLoader.java:402) at
2022-02-05 21:21:00
854
原创 2021 年度总结——平安喜乐
总体来看，2021年算是平平淡淡、自得其乐、单调而充实的一年，勉强兼顾了工作、学习和生活。希望来年，查漏补缺，继续精进。也祝大家，在新的一年，平安喜乐，心之所向，无往而不利。
2022-01-01 20:46:29
623
2
原创 CentOS 7 虚拟机网卡失效问题：ens33:＜NO-CARRIER,BROADCAST,MULTICAST,UP＞mtu 1508 gdisc pf ifo_fast state DOWN
某一天打开虚拟机，发现使用SecureCRT之类的远程工具连接不上，但前一天还是好好的。赶紧进VMware Fusion看看，发现如下信息，同时测试发现无法ping通集群其他节点。以下记录解决问题的详细过程。2:ens33:<NO-CARRIER,BROADCAST,MULTICAST,UP>mtu 1508 gdisc pf ifo_fast state DOWN group default qlen1000link/ether 08:8c:29:c2:7a:b3 brd ff :ff
2021-12-11 09:41:05
15402
6
原创 编译Apache Tez 0.10.2 时报错：XXX.MojoExecutionException: ‘protoc --version‘ did not return a version
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:3.2.2:protoc (compile-protoc) on project tez-api: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]
2021-12-02 22:31:49
1468
原创 编译Atlas 2.2.0 时报错：org.apache.atlas:atlas-buildtools:jar:1.0 was not found （已解决）
如题，这个atlas-buildtools 1.0版本依赖在aliyun、repo1、repo2等多个仓库都没找到，于是报错如下一时没有找到哪个仓库有1.0版本依赖，不过0.8.1版本在中央仓库是有的懒得找了，修改源码pom.xml里面atlas-buildtools的版本为0.8.1吧。重新编译，问题解决，美滋滋...
2021-11-15 21:12:05
2667
5
原创 Centos 7 安装配置Solr 8.10
在此以Cloud模式安装Solr，在此假设你已安装配置好zookeeper集群。0 下载安装包，在此使用最新版8.10.1https://solr.apache.org/downloads.htmlhttps://www.apache.org/dyn/closer.lua/lucene/solr/8.10.1/solr-8.10.1.tgz1 使用root账户或sudo在每台节点上创建solr用户并设置密码为solruseradd solrecho solr | passwd --stdin
2021-11-07 13:45:27
628
原创 启动Solr 8.10 后访问UI报错：CoreContainer is either not initialized or shutting down.
以cloud模式配置安装好Solr 8.10.1 启动后，在访问默认8983端口或使用solr status查看状态时报如下错误URI:/solr/ STATUS:404 MESSAGE:javax.servlet.UnavailableException: Error processing the request. CoreContainer is either not initialized or shutting down. SERVLET:default CAUSED BY:ja
2021-11-06 18:11:57
4084
6
原创 Centos 7 安装配置Maven 3.8（多仓库配置）
0 从官网下载最新版maven，在此用的是3.8.3https://maven.apache.org/download.cgi1 上传server并解压到安装目录tar -zxvf apache-maven-3.8.3-bin.tar.gz -C /usr/sft/2 配置maven仓库信息，vi /usr/sft/maven-3.8.3/conf/settings.xml（1）找到mirrors标签对，添加如下配置<mirror> <id>alimav
2021-11-05 17:37:08
942
原创 边读研边工作两年后的程序员阶段总结
距离2016年大一那会注册csdn账号以来，不知不觉已有五年多了，在这里陆陆续续写博客也有两年半了。眨眼到了研三，忙着搞论文的同时要兼顾工作，乘着10-24，有感而发，针对工作和学习小小的做个总结吧。专业学习方面为了专心搞论文，这周搬回学校住了，这样下了班还可以回图书馆写写论文，周末也可以安心泡馆子。当然写论文啥的在家也可以，还是偏爱校园的氛围吧，就如去年冬天跳到我腿上挖我口袋的橘猫、食堂的饭菜、图书馆的白开水。。。按规划的话，这估计是最后不到一年在学校学习的时光了。在知识体系的构建上，近两年经历了理
2021-10-24 20:41:42
358
5
原创 Centos 7 安装配置Hive 3.1.2笔记
在此进行Hive-3.1.2并以Mysql作为元数据库的基本安装配置，假设你已安装好Mysql数据库（Mysql安装配置可见：）。1 软件下载#Hive 3.1.2https://dlcdn.apache.org/hive/hive-3.1.2/#Mysql Connector， 注意下载Platform Independent版本，并解压得到Jar包https://dev.mysql.com/downloads/connector/j/2 解压Hive到对应目录tar -zxvf apa
2021-10-16 14:58:14
342
原创 Centos 7 安装配置mysql 5.7 超详细笔记
1 检查系统是否有自带Mysql老版本rpm -qa | grep mari2 若有进行卸载rpm -e --nodeps mariadb-libs3 Mysql 5.7官方下载https://dev.mysql.com/downloads/mysql/5.7.html4 解压下载安装包tar -xvf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar -C /usr/sft/mysql-5.7/5 按以下顺序进行安装rpm -ivh mysql-co
2021-10-16 11:43:04
1196
1
原创 Linux集群批量命令执行脚本
试想这样一种场景，集群有一百台节点，如何以最快的速度获得每台节点的JDK版本并进行汇总？1 示例代码如下#vi /usr/tools/clusterCmdExec.sh#1 judge para numberpcount=$#if((pcount==0)); then echo “no args” exitficmd=$1#2 executing cmd loop on cluster nodesfor host in chdp01 chdp02 chdp03d
2021-10-09 14:58:09
793
原创 Linux 集群批量免密脚本
操作集群执行一些批量任务时，常常会从操作节点访问其他机器，这时免密配置可以减少许多不必要的时间损耗。另一方面，若是集群节点数量众多，手动配置免密时重复输入密码也是很麻烦的事情。这种重复性工作完全可以交给代码去做。而此处用到的重要工具就是 expect。1 话不多说，代码如下#vi /usr/tools/keyshare.sh#generate keyssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa#distribute key with correspondin
2021-10-09 14:42:44
702
原创 Centos 7 集群配置Hostname与DNS映射
0 基本环境与配置目标集群有三台机器：chdp11、chdp02、chdp03，节点基本网络配置如网卡、ip、防火墙已完成。现需将chdp11的hostname改为chdp01，并且能够通过hostname访问到对应机器。对应步骤如下：1 vi /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=chdp012 vi /etc/hostname (全文替换如下)chdp013 vi /etc/hosts
2021-10-09 10:47:04
428
原创 给同事讲项目的一点体会和反思
我们在工作中不可避免的要向同事讲解手上负责的项目，他们或是刚转到项目组的老鸟、或是前来借鉴经验的兄弟项目组、或是刚毕业的应届新同学、亦或是你的领导们。但不知道朋友们有没有这样的一个体会，觉得很清晰明了的东西，费尽口舌讲解时却发现对方一脸懵逼。嗯，我在说什么呢？反思下来，如何高效简洁的把事情讲清楚，并且能够让别人能够听明白？这个问题的梳理就变得尤为重要。相信在程序员的工作中，遇到的大多数问题都可以用言语去传达清楚。特别是对于项目的讲解，尤为如此。KT（Knowledge Transfer）不到位，要么是讲
2021-09-05 17:18:43
379
原创 《如何阅读一本书》读书笔记
读这本书带给我的感觉是：相见恨晚。不禁反思，读了那么多的书，你有没有好好想过怎样的阅读方式才是正确、合适、高效的？先来看看大纲，以下简单介绍书中前半部分：基本的阅读技巧，即前三层阅读。1 阅读的层次阅读的活力与艺术对于依旧习惯于从书本上获得知识的人来说，这是一本不可多得的好书。首先假设你是一个主动阅读者，希望学习以更好的方式去读书学习，无论是希望从阅读中获得资讯还是求索智慧。阅读是一种主动型学习，既然是学习那必然要找对方法。毕竟当下很多人还沿用着中学时期的阅读方式。阅读的
2021-09-04 14:00:32
257
原创 《大数据湖最佳实践》读书笔记
本书描述了数据湖基础知识，如基本架构、与数仓的对比、数据存储、元数据处理、数据访问控制等，读完能够让你对数据湖技术有一个概述性的认知。笔记按章节整理如下：一 数据湖概述数据湖的演化成熟度：数据水洼、数据池、数据湖、数据洋。陷入数据黑洞的数据沼泽。规划数据湖：针对不同人群的数据服务层以及对应的数据权限访问控制，原始区、产品区、工作区、敏感区数据查找：在减少数据冗余的同时能够让使用者快速查找到自己需要的数据，保持数据完整性，建立数据索引目录，类似于Hadoop NameNode基于
2021-06-12 16:36:25
1771
6
原创 论文阅读笔记：Multi-model Databases: A New Journey to Handle the Variety of Data
看到这篇论⽂，我的第⼀个疑问就是：何为Multi-mode DB？⼀开始我尝试⽤“多模数据库”去理解，但感觉并不能准确的阐述其本意，结合这篇⽂章（https://www.predictiveanalyticstoday.com/top-multi-model-databases/）以及赵⽼师分享的论⽂，基于⾃身的理解⽤⼀句话解释Multi-modelDB：可以同时针对不同数据模型如关系型、⽂本型、图型等进⾏操作的数据库称之为Multi-model数据库，以下为了撰写⽅便，采⽤不太准确的中⽂名“多模”
2021-03-21 17:33:45
1082
转载 真正通俗易懂的傅里叶变换讲解
大佬能把FFT讲解的这么通俗，太赞了！转发学习一波。原文出处：韩昊 作 者：韩 昊 知 乎：Heinrich 微 博：@花生油工人 知乎专栏：与时间无关的故事 谨以此文献给大连海事大学的吴楠老师，柳晓鸣老师，王新年老师以及张晶泊老师。 转载的同学请保留上面这句话，谢谢。如果还能保留文章来源就更感激不尽了。 ——更新于2014.6.6，想直接看更新的同学可以直接跳到第四章———— 我保证这篇文章和你以前看过的所有文章都不...
2021-03-07 17:30:26
3657
原创 记一次差点翻车的上线经历——论团队内外精准协调的重要性
本轻车熟路的上线，第二次整到了近十二点，花费的时间是上次顺利上线测试的两倍。虽说测试的例程比上次多了一倍，但依旧不构成主要原因。这次上线中，碰到了一些之前未遇到的问题，如团队内外协作、业务掌握情况、CICD自动化等等。和以往一样，文字结合思考，自省改进，让自己更加清醒。
2021-03-06 20:29:09
227
2
原创 读书笔记-《像高手一样发言》
程序员作为一个“最爱学习”的群体，我们运用业余时间钻研各种技术，像什么分布式缓存、分布式锁、JVM等等等。那既然在表达上面吃了那么多的亏，可否把说话作为一门技术去钻研、实践呢？最近看了《高效演讲》、《逻辑说服力》、《学会提问》等相关书籍。最后看到了《像高手一样发言》，这本书从公务员的工作运用场合出发，探讨了会议、竞聘、汇报、餐桌、述职、日常交际等场合的常用话术，并提供了颇具实践性的表达例子。
2021-02-28 20:56:02
2840
原创 为啥shell脚本数据预处理中出现了非预期后缀的拷贝文件？可能是sed惹的祸
因为很少会留意到sed的这个文件备份功能，准确说来是不熟悉sed惹的祸，在此进行记录。
2021-02-21 13:56:04
211
原创 因为需求文档问题，项目组整个春节都在加班
项目开发中，文档撰写究竟有多重要？昨天接到领导通知，支援隔壁兄弟项目组。同样是报表开发，他们人还比我们多。为啥还需要我们项目组支援呢？不问不知道，一问吓一跳。原来是需求分析这一关出了问题，用户测试时发现数据对不上，而今甚至连可复盘的需求文档都不完整。好家伙，难怪他们大过年的也在加班。
2021-02-20 21:03:57
215
原创 Shell脚本调用Python实现多分隔符字符串切分函数
在此采用shell调用python的方式封装实现了一个自定义字符串切割函数，支持多分隔符，返回切分结果数组对应下标的值。其他运用场景，希望本文能起到抛砖引玉的效果。
2021-02-08 22:11:05
451
2
原创 记2021的第一次项目上线—— 进程缓存数据过期问题
即使在开发环境下一切运行OK，也不要放过任何一个看起来无关紧要的瑕疵，由于数据场景差异，开发环境的一个小漏洞可能会在生产环境被无限放大。
2021-01-30 21:05:10
259
原创 2020年度总结——心系彼岸，一苇以航
这一年，工作和上学，依旧同步进行；工作965，上学6102，加在一起最后成了7107实现了名副其实的“1+1>2”。为工作加过班，也为论文掉过头发。因为疫情，上半年在家里上起了网课，同时也开启了近半年的远程办公模式，终于有机会当起了厨房小能手哈哈。
2020-12-31 20:16:54
306
2
转载 Solr vs ElasticSearch，搜索技术哪家强
简介：Solr和ElasticSearch到底有一些什么不同？我在网上搜索了一些文章，这些文章要么是列出一个表，详细地介绍两者什么功能有，什么功能没有，要么是从大类出发，比较两者的关注度，社区等等。但看完这些文章，还是没法解决我心中的疑惑，这里想跟大家分享下我的一些看法。
2020-12-29 15:24:27
272
writerAndReader.rar
2020-06-20
贪食蛇(C、C++控制台彩色版)
2019-07-02
走迷宫问题栈实现.cpp
2019-07-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人