自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

云上的听者

登云拔高,久听荡气回肠的云上知音

  • 博客(16)
  • 收藏
  • 关注

原创 实用详解spark的读取方法textFile和wholeTextFiles

textFile()和wholeTextfile()之间的区别,用测试数据和测试结果来证明。

2018-10-12 15:16:21 17255 5

原创 spark 画图详解:资源调度再到任务调度

讲说spark的资源调度和任务调度,基本的spark术语,这里不再多说,懂的人都懂了。。。按照数字顺序阅读,逐渐深入理解:以下所有截图均为个人上传,不知道为什么总是显示别人的QQ,好尴尬,无所谓啦,开始吧~~1 宽窄依赖与Stage划分:上熟悉的图:在 Spark 里每一个操作生成一个 RDD,RDD 之间连一条边,最后这些 RDD 和他们之间的边组成一个有向无环图,这个就是 ...

2018-10-12 15:04:21 995

原创 运维中,重要的两个点

1.ssh涉及安全,需要做到2.入侵检测与日志监控

2023-02-15 09:12:06 181

原创 springboot写H3C接口自定义启动run类并调试maven-package,排除target中被complile的包,报错repackage问题

1.背景说明,辅助阅读和参考方向idea (2020.3版本)编写H3c华三云接口时候,用 maven 管理项目jar,用 gitlab 管理项目。当项目构建差不多时候,并test没用问题后,准备使用 maven clean,maven package时候出现问题,问题下 一节有截图。版本:jdk1.8.1 其他版本和项目插件 plugin 版本均有截图:2. 问题出现3.解决4.总结:...

2022-05-17 10:43:12 1324

原创 关于hive2.1.x版本下的分区表 某个分区下select不出数据,但是对应的hdfs目录location确实存在数据,使用hive下的msck命令repair

1hive版本2.1.1版本(其实版本不是很重要,其他低一些的版本也是有这个命令的,即同样参考本文章操作):2 问题呈现HDFS上有数据:如下shell呈现:[hive@cdh-test-01 ~]$ hadoop fs -cat /user/hive/warehouse/test.db/t_psn_par/dt=20210318/*1;Jay;1995;Xizang2;Lily;1991;Shanghai3;Jack;1992;Guangxi4;Jenny;1999...

2021-03-19 20:40:08 979

原创 Linux系统下shell之history 关于清除 -c 和部分删除 .bash_history && history -r 的确切使用

本篇关于在shell的history命令有一定的了解的童鞋使用,且在删除历史命令和部分删除中操作1 查看 history[root@cdh-test-01 ~]# help historyhistory: history [-c] [-d 偏移量] [n] 或 history -anrw [文件名] 或 history -ps 参数 [参数...] 显示或操纵历史列表。 带行号显示历史列表,将每个被修改的条目加上前缀 `*'。 参数 N 会仅列出最后的 N.

2021-03-19 12:09:58 6745

原创 windows10系统Mysql5.7服务启动报:“1053错误:服务没有及时响应启动或控制请求“,本地用户和组不能用,用services.msc下mysql的右击属性、登录、浏览,direcX re

1 .报错;在win10系统安装的mysql5.7.30(即上一篇文章所安装的mysql版本和路径等),第二天重启笔记本 ,在dos命令框启动mysql:net start mysql 报错 1503问题,在services.msc启动mysql服务也是报相同的错误:或者有时候运行mysql相关命令报错:执行中遇到问题,提示缺少MSVCR120.dll文件。就上述问题 ,如何解决继续看。2. 处理很多帖子是找通过控制板找本地用户和组,但是win10 系统是没有这一块的,...

2021-03-05 21:06:32 1293

原创 win10系统安装MySQL5.7.30遇到的小坑,user表中不在有password字段而是authentication_string,my.ini文件中的路径写法遇坑问题

1. mysql 版本选择官方:https://dev.mysql.com/downloads/mysql/严格按照截图的数字顺序选择到这里就下载完了。2. 使用压缩包下载安装步骤下面是my.ini内容:[client]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]# 设置3306端口port=3306character_set_server=utf8# 解压目录basedir=C:\...

2021-03-04 18:14:33 771 1

原创 使用sqoop的关于单,多表操作以及--split-by&-m联合使用的注意事项

1 理论sqoop如果不加入相关的参数,就只是单单的单个表的导入| 出,在生产中不适用,加入相关参数比如:-e|--query<同时替换--where、-table、--columns>就可以实现关联多张表的数据的导入|出了,引用官方一张截图如下:接下来 -->>场景:sqoop import--connect jdbc:postgresql://...../.....--username jagel95--query"select * fro...

2020-12-11 11:54:04 814

原创 主机使用手机热点,xshell连接vmware失败,记录一次严格找原因并解决

1 问题:之前都是在有wifi的地方正常使用xshell连接vmware,本次携带笔记本去国家图书馆,切换成自己的手机热点使用,发现xshell连接不上vmware,另外:主机上外网没有问题,vmware不能连接外网且不能被xshell连接!!在百度上找了7-8种方式,几乎都试了还是不成功!而且看的帖子都是互相复制内容,对自己用处不大。言归正传,截图说明:既然连接不上,那么此时主机ip情况如下图:2,解决问题看到的很多的没有解决问题的帖子,这里不再指出,参考了一下该偏解决..

2020-12-02 12:01:21 1103

原创 过麦--回忆里面的山东

当布谷鸟的第一声鸣叫盘旋在村子上空,乡村五月的空气里便会氤氲沸腾起一阵阵麦香。和着沁人心脾的麦香,乡亲们也迎来了一年中忙碌而充实的季节。 过麦,在乡亲们眼里,很有仪式感。一年的收成如何决定了一年生活质量的好坏,所以过麦,显得很隆重。离收麦还有个把月的时间,乡亲们就早早为过麦做准备了。过年时没舍得吃完的腊肉此时便派上了用场,再腌上一坛子鸭蛋鹅蛋或是鸡蛋,到集上买点干鱼干虾。再把...

2019-05-24 13:37:42 342

原创 实战配置Hbase_ACL 权限

1Hbase自身权限控制HBase的权限管理包括两个部分,分别是Authentication&AuthorizationAuthentication:针对某访问ip或者主机 是否有权成为集群的regionserver或者client端;其中Authentication由kerberos提供解决方案(机器级别的安全认证),用户级别的Authorization由ACL模块控制;k...

2019-05-24 10:49:58 1871

原创 IT方法论--来自10年+程序员的深入探讨

有幸听到很受益的方法,打算贡献出来,也许很多人很多道理都懂都总结过,but  anyway,我依然整理如下:1 input---output---纠正correct  这是学习新知识的整个套路,这个讨论可以让一个小白从3k一路飙升到年薪50+w,你认为做不到 因为根本没有做;2 华为&amp;&amp;联想:基本同期创业,联想这段时候应该pc还凑合,而华为重视研发,95年时候:联想柳总在交...

2019-02-14 16:35:04 1014

原创 Java必要准确区别之数组Array和集合list、map、set

1 其实:以为能区分的 实际上还在模糊世间上本来没有集合,(只有数组参考C语言)但有人想要,所以有了集合 有人想有可以自动扩展的数组,所以有了List 有的人想有没有重复的数组,所以有了set 有人想有自动排序的组数,所以有了TreeSet,TreeList,Tree** 而几乎有有的集合都是基于数组来实现的. 因为集合是对数组做的封装,所以,数组永远比任何一个集合...

2018-10-17 18:12:27 7756

翻译 最新电商之推荐系统要诀~

01概述:推荐一直是电商平台的重要流量入口。以往在电商平台上,推荐的场景更多的覆盖在交易的各个环节,比如详情页、购物车、订单及支付等。近年来推荐发展逐渐的多样化,场景上逐渐覆盖到各流量入口,推荐的实体也扩展到活动、类目、运营位等。在电商网站里进行商品推荐,可以提高整个网站商品销售的有效转化率,增加商品销量。通过用户已经浏览、收藏、购买的记录,更精准的理解用户需求,对用户进行聚类、打标签,推...

2018-10-12 15:38:41 3847

翻译 !20-30岁的年华青春,步步都算!

我的开篇博客没有写技术,没有写自己,想了想应该从一个例子开始,因为这就像5年前的我:--------------------------------------引用--------------Start------------------------------------------------------------------    大家好,我是一位来自东北的29岁老男孩,现居深圳。...

2018-10-12 15:29:16 954

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除