- 博客(16)
- 收藏
- 关注
RSS订阅
原创 实用详解spark的读取方法textFile和wholeTextFiles
textFile()和wholeTextfile()之间的区别，用测试数据和测试结果来证明。
2018-10-12 15:16:21
17210
5
原创 spark 画图详解:资源调度再到任务调度
讲说spark的资源调度和任务调度，基本的spark术语，这里不再多说，懂的人都懂了。。。按照数字顺序阅读，逐渐深入理解：以下所有截图均为个人上传，不知道为什么总是显示别人的QQ，好尴尬，无所谓啦，开始吧~~1 宽窄依赖与Stage划分：上熟悉的图：在 Spark 里每一个操作生成一个 RDD，RDD 之间连一条边，最后这些 RDD 和他们之间的边组成一个有向无环图，这个就是 ...
2018-10-12 15:04:21
974
原创 springboot写H3C接口自定义启动run类并调试maven-package，排除target中被complile的包，报错repackage问题
1.背景说明，辅助阅读和参考方向idea (2020.3版本)编写H3c华三云接口时候，用 maven 管理项目jar，用 gitlab 管理项目。当项目构建差不多时候，并test没用问题后，准备使用 maven clean，maven package时候出现问题，问题下 一节有截图。版本：jdk1.8.1 其他版本和项目插件 plugin 版本均有截图：2. 问题出现3.解决4.总结：...
2022-05-17 10:43:12
1300
原创 关于hive2.1.x版本下的分区表 某个分区下select不出数据，但是对应的hdfs目录location确实存在数据，使用hive下的msck命令repair
1hive版本2.1.1版本(其实版本不是很重要，其他低一些的版本也是有这个命令的，即同样参考本文章操作)：2 问题呈现HDFS上有数据：如下shell呈现：[hive@cdh-test-01 ~]$ hadoop fs -cat /user/hive/warehouse/test.db/t_psn_par/dt=20210318/*1;Jay;1995;Xizang2;Lily;1991;Shanghai3;Jack;1992;Guangxi4;Jenny;1999...
2021-03-19 20:40:08
961
原创 Linux系统下shell之history 关于清除 -c 和部分删除 .bash_history && history -r 的确切使用
本篇关于在shell的history命令有一定的了解的童鞋使用，且在删除历史命令和部分删除中操作1 查看 history[root@cdh-test-01 ~]# help historyhistory: history [-c] [-d 偏移量] [n] 或 history -anrw [文件名] 或 history -ps 参数 [参数...] 显示或操纵历史列表。 带行号显示历史列表，将每个被修改的条目加上前缀 `*'。 参数 N 会仅列出最后的 N.
2021-03-19 12:09:58
6330
原创 windows10系统Mysql5.7服务启动报：“1053错误:服务没有及时响应启动或控制请求“，本地用户和组不能用,用services.msc下mysql的右击属性、登录、浏览，direcX re
1 .报错；在win10系统安装的mysql5.7.30(即上一篇文章所安装的mysql版本和路径等)，第二天重启笔记本 ，在dos命令框启动mysql：net start mysql 报错 1503问题，在services.msc启动mysql服务也是报相同的错误：或者有时候运行mysql相关命令报错：执行中遇到问题，提示缺少MSVCR120.dll文件。就上述问题 ，如何解决继续看。2. 处理很多帖子是找通过控制板找本地用户和组，但是win10 系统是没有这一块的，...
2021-03-05 21:06:32
1254
原创 win10系统安装MySQL5.7.30遇到的小坑，user表中不在有password字段而是authentication_string，my.ini文件中的路径写法遇坑问题
1. mysql 版本选择官方：https://dev.mysql.com/downloads/mysql/严格按照截图的数字顺序选择到这里就下载完了。2. 使用压缩包下载安装步骤下面是my.ini内容：[client]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]# 设置3306端口port=3306character_set_server=utf8# 解压目录basedir=C:\...
2021-03-04 18:14:33
747
1
原创 使用sqoop的关于单，多表操作以及--split-by&-m联合使用的注意事项
1 理论sqoop如果不加入相关的参数，就只是单单的单个表的导入| 出，在生产中不适用，加入相关参数比如：-e|--query<同时替换--where、-table、--columns>就可以实现关联多张表的数据的导入|出了，引用官方一张截图如下：接下来 -->>场景：sqoop import--connect jdbc:postgresql://...../.....--username jagel95--query"select * fro...
2020-12-11 11:54:04
797
原创 主机使用手机热点，xshell连接vmware失败，记录一次严格找原因并解决
1 问题：之前都是在有wifi的地方正常使用xshell连接vmware，本次携带笔记本去国家图书馆，切换成自己的手机热点使用，发现xshell连接不上vmware，另外：主机上外网没有问题，vmware不能连接外网且不能被xshell连接！！在百度上找了7-8种方式，几乎都试了还是不成功！而且看的帖子都是互相复制内容，对自己用处不大。言归正传，截图说明：既然连接不上，那么此时主机ip情况如下图：2，解决问题看到的很多的没有解决问题的帖子，这里不再指出，参考了一下该偏解决..
2020-12-02 12:01:21
1071
原创 过麦--回忆里面的山东
当布谷鸟的第一声鸣叫盘旋在村子上空，乡村五月的空气里便会氤氲沸腾起一阵阵麦香。和着沁人心脾的麦香，乡亲们也迎来了一年中忙碌而充实的季节。 过麦，在乡亲们眼里，很有仪式感。一年的收成如何决定了一年生活质量的好坏，所以过麦，显得很隆重。离收麦还有个把月的时间，乡亲们就早早为过麦做准备了。过年时没舍得吃完的腊肉此时便派上了用场，再腌上一坛子鸭蛋鹅蛋或是鸡蛋，到集上买点干鱼干虾。再把...
2019-05-24 13:37:42
332
原创 实战配置Hbase_ACL 权限
1Hbase自身权限控制HBase的权限管理包括两个部分，分别是Authentication&AuthorizationAuthentication：针对某访问ip或者主机 是否有权成为集群的regionserver或者client端；其中Authentication由kerberos提供解决方案（机器级别的安全认证），用户级别的Authorization由ACL模块控制；k...
2019-05-24 10:49:58
1849
原创 IT方法论--来自10年+程序员的深入探讨
有幸听到很受益的方法，打算贡献出来，也许很多人很多道理都懂都总结过，but anyway，我依然整理如下：1 input---output---纠正correct 这是学习新知识的整个套路，这个讨论可以让一个小白从3k一路飙升到年薪50+w，你认为做不到 因为根本没有做；2 华为&&联想：基本同期创业，联想这段时候应该pc还凑合，而华为重视研发，95年时候：联想柳总在交...
2019-02-14 16:35:04
1002
原创 Java必要准确区别之数组Array和集合list、map、set
1 其实：以为能区分的 实际上还在模糊世间上本来没有集合,(只有数组参考C语言)但有人想要,所以有了集合 有人想有可以自动扩展的数组,所以有了List 有的人想有没有重复的数组,所以有了set 有人想有自动排序的组数,所以有了TreeSet,TreeList,Tree** 而几乎有有的集合都是基于数组来实现的. 因为集合是对数组做的封装,所以,数组永远比任何一个集合...
2018-10-17 18:12:27
7722
翻译 最新电商之推荐系统要诀~
01概述：推荐一直是电商平台的重要流量入口。以往在电商平台上，推荐的场景更多的覆盖在交易的各个环节，比如详情页、购物车、订单及支付等。近年来推荐发展逐渐的多样化，场景上逐渐覆盖到各流量入口，推荐的实体也扩展到活动、类目、运营位等。在电商网站里进行商品推荐，可以提高整个网站商品销售的有效转化率，增加商品销量。通过用户已经浏览、收藏、购买的记录，更精准的理解用户需求，对用户进行聚类、打标签，推...
2018-10-12 15:38:41
3798
翻译 ！20-30岁的年华青春，步步都算！
我的开篇博客没有写技术，没有写自己，想了想应该从一个例子开始，因为这就像5年前的我：--------------------------------------引用--------------Start------------------------------------------------------------------ 大家好，我是一位来自东北的29岁老男孩，现居深圳。...
2018-10-12 15:29:16
940
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人