自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

爱程序,爱生活

爱程序,爱生活

  • 博客(29)
  • 资源 (2)
  • 问答 (3)
  • 收藏
  • 关注

原创 Java基础语法学会了,JavaScript瞄一眼就行,瞅第二眼我看不起你!

每个时代,都不会亏待对比学习的人!Java基础语法学完了,想学前端,可以从它的兄弟JavaScript开始,接下来,我将以一个Java学习者的视角来带你学习JS,最多一小时学会(半个小时学习,半个小时消化)!JavaScript简述1.数据类型2.运算符3.流程控制4.数据结构5.函数6.面向对象(重点)6.1 DOM6.2 BOM6.3 自定义对象使用7. 事件(重点)8.正则简述javascript,简称js,脚本语言,开发工具推荐vscode,运行环境推荐nodejs。常和html.

2021-09-29 08:51:43 1694 8

原创 浏览器不为人知的秘密,你了解多少!浅显易懂,放心食用!

当今时代,浏览器是我们上网的一个重要窗口,那么,对于它是如何工作的你有多少了解,在地址栏输入一个地址,或者在百度搜索栏输入一个关键字,最终到我们想要看到的页面,究竟发生了什么。不需要太多专业知识,跟着我走,就够了!浏览器的秘密1.浏览器的架构2.浏览器的视角3.浏览器页面如何渲染4. 浏览器与用户如何进行交互1.浏览器的架构1.最简单的浏览器有什么最基础的设计需要有一个导航栏,输入框、标签页,没有这些,用户无法操作,难道干看着吗!浏览器架构的分类浏览器的架构分为两类:单进程.

2021-09-29 07:23:32 1257 1

原创 数据加密与网络安全的基础知识,有必要瞄一眼!

当今时代,网络安全至关重要!数据加密与解密HTTP两种攻击与应对加密方式的分类与常用方法单向散列加密就是对数据进行不可逆的加密,一般解析不了原始的数据内容,常用于像密码加密等场景,常用的加密方法:最常用的md5,还有其他诸如:sha……对称加密对于数据进行加密和解密,使用同一个秘钥,常用来对数据进行脱敏处理,需要用到时(如:需要通过手机号进行触达)在进行数据的解密即可。常用的方法有AES,还有其他诸如:DES……非对称加密对于数据进行加密和解密,使用不同秘.

2021-09-28 14:42:17 778 1

原创 NodeJS的安装和使用,从helloworld开始到结束!

每个时代,都不会亏待学前端的人!官网下载地址:https://nodejs.org/en/选择好版本之后,下载。接下来就是傻瓜式安装了!检验是否安装成功:第一个helloworld测试编写js脚本console.log("hello world!")运行js脚本nodejs 入门使用到此结束,就是这么简单,后续内容补充再说,下期见!...

2021-09-28 14:12:08 83

原创 你会用JDK8了吗,会了但没完全会的,可以点进来看看!

每个时代,都不会亏待细心的人!jdk8谁还不会用呢,老经典了,你确定这篇文章会有人看吗,不会吧。先上代码:public class OnlyDateTest { public static void main(String[] args) throws ParseException { //1986-05-04 时间转换测试 String src = new String("1986-05-04"); System.out.printl.

2021-09-27 10:46:06 78

原创 使用JDK1.5的enum枚举,写个单例模式,装13专用!

枚举,又一个仓库吃灰的东西,拿出来,洗洗,还能吃,还很香!简单的枚举使用示例,和使用枚举来实现单例模式(都知道枚举是线程安全的,写起来非常的简洁),示例代码如下:public class EnumTest { public static void main(String[] args) { //enum test System.out.println(ClassName.C); System.out.println(ClassName.C.

2021-09-26 17:57:50 104 2

原创 最强日期时间处理大师,Java、MySQL、SQLServer、Hive、Spark!

任何时代,都不会亏待努力学习的人!不论使用什么语言,什么技术,日期时间格式的处理都不可避免,比如常用的Java、SQL、hive、sparksql……,那么,最强干货来了,全方位带你了解日期时间处理,再也不必为日期头疼了!日期时间处理方式1.Java2.MySQL3.SQLServer4.Hive5.SparkSQL1.JavaJava代码: //getTime Date date1 = new Date(); System.out.p.

2021-09-26 16:38:21 167

原创 Java的String,有长度限制,知道的不要点进来!

每个时代,都不会亏待努力学习的人!先来个简单的夺命三连问,测一测你对于Java的string的认知度?Q:string类型在定义时有长度限制,可以无限大吗?Q:如何去除string中的空格等一系列空白字符,不会知道到trim()吧?Q: string类型的常用方法了解多少个,是懂了,但没完全懂吗?看完之后,你将明白,string,小case啦String1.长度限制2. 去除空串3. 常用方法1.长度限制string类型有没有长度限制,答案是坑定的!Java小白都知道编译.

2021-09-25 16:56:27 242 2

原创 22:00还没睡,被测试人员半夜叫起床是啥感觉,啊,生活又充满了干劲!

每个时代,带不会亏待努力工作的人!事件的起因数据要上线,在上线之前是已经被她测了一遍。上线之后,leader要说对与上线的数据进行线上的测试。我呢,把数据接入到线上的路径下,并且也刷新了表的数据,大功告成,回家睡觉,看表不过19:00!事件的高潮难得的早睡,测试的那个“她”,打电话过来了,睡懵比着呢,看表已经是快到晚上10点了。要我把原表数据也给落一下,我说不能落,线上的数据路径格式不支持我落表啊。你以为谁会单独为了测试单独重新拉数据,改路径格式,为了能够落成hi.

2021-09-24 22:45:13 66 1

原创 String str=“a“+“b“+“c”+...,只创建了一个对象?

待补充

2021-09-23 10:36:52 121

原创 个人对于IT开发型技能段位的划分,我只是一个小小铂金,你什么段位了!

我又要刷新自己了。从收藏从未停止,学习还未开始。我觉得我不能在自暴自弃了,走起!个人对于一名IT的开发人员做了一个段位划分,有借鉴,有思考,有(玩王者农药)…个人处在一个有水分的铂金.段位上图,开小号,重新开始:段位1.青铜2.白银3.黄金4.铂金5.钻石6.星耀7.王者8.无穷1.青铜懵懂阶段,刚进大学,刚迈入计算机这个专业,对于整体的大方向还没有全局的意识,对于现在学习的知识没有一个很好认识,为啥要学(虽然老师说很重要,但为啥重要,为啥学),没有一个短期的目标或愿景。以后好找工作,.

2021-09-23 09:03:58 169

原创 关于HDFS分区文件,Hive Client 和 Spark-shell操作问题解析

放假前一天,活没干完咋办?加班?中秋三天假,果断回老家。工作之后才会发现,那才是我的家,不只是一个居住的房子!放假的前一天,有一些工作,我xx你个**,果断选择放假回来再干,只要不死人,还是可以延缓的。加班,是不可能的!放假前遇到了个啥问题没解决呢?这就要和测试的她有关了,按规定客户那边原始数据层是不允许建立表和试图的,为了数据的安全性考虑。但没办法,测试要测试数据的一致性。我咋办,麻溜的去解决啊,原则就是要去打破的!上个问题还不是很好解决,为啥,路径格式我的leade..

2021-09-22 11:26:30 74

原创 工具合集-编程环境,编程软件,常用的实用工具下载、安装和配置,收藏绝对不亏!

今天早上起的有点早,那就肝一篇博文吧,美好的一天从在CDSDN上写博客开始!工具合集1. jdk8/jdk17+idea2. mysql5/mysql8+navicat3. python+pycharm4.curl+cmder5. vim/vscode6. beyond compare7. everything+launchy8. xshell+xftp/mobaxterm后续工具持续更新,下期见软件下载和安装可以去对应的官网,也可以打开个人使用的工具集合,直接食用,阿里云网盘,百度网盘迁过来有点.

2021-09-18 08:35:38 340 1

原创 和测试人员对碰,自己挖的坑,含着泪也要填完!

昨天数据接完了,想着今天交给测试就完了,应该问题不大吧,卧槽,一天没休息!1.坑点一:数据类型不一致导致spark使用的时候报类型不匹配的错!接入的时候是数据库的数据类型,但大家都知道hive一般都是用string类型,所以我ods和dwd层的数据表建的都是string类型,数据映射成hive表时没有报错,那你以为就没问题了,你错了!使用spark-shell查询相同的表,hive里查没问题,使用sparksql查就报错,你说神奇不神奇,sparksql很强大呀,还可以给你检测类型呢(我.

2021-09-17 22:41:43 153 2

原创 我要写脚本:Shell基础语法

工作摸鱼时间又到了,整整shell编程的语法知识点,毕竟用的还是比较多的,不足之处请多指教。觉得OK,点赞,关注,不迷路。后续更新将采用一文搞懂xxx的形式,敬请期待!语法讲解1.变量2.数据类型3.字符串操作4.算数运算5.控制语句6.数据结构7. 函数helloworld.sh#!/bin/bashecho "hello world!"1.变量#申明name="zhangsan"#使用echo $name#只读变量申明readonly PI=3.14#使用$PI#参数.

2021-09-16 15:17:36 66

原创 大数据开发,本人,如何在昨日工作期间搭建了一个个人博客网站,工作就是这么朴实且无华!

不知道其他岗位如何,但是大数据开发岗位还是很闲的,代码一小时,机器跑一天!所以就利用工作咸鱼时间搭建了一个个人博客网站雏形,话不多说,上图先。有那味了吗[手动滑稽]从0到1建站1.阿里云轻量服务器2.手动个性化配置3. 域名购买与DNS解析(可选)4.访问测试5.总结一下1.阿里云轻量服务器为啥选择阿里云的那个服务器呢?价格:新用户的话99一年,确实不贵。学生用户的话,我记得一年才10-20元不等,白菜价方便:开发环境不需要自己来手动搭建,内置了MySQL,PHP,word .

2021-09-15 07:56:07 95 3

原创 关于SparkSQL获取DF时,dbtable参数值是SQL语句的问题解析

在哪种工作场景下遇到的这个坑呢?在写spark程序,使用jdbc连接mysql,做数据的迁移时,遇到,一开始使用sparksql,hive的函数,结果报错,怀疑人生,从前也没遇到啊!说的不清楚,直接贴代码? updateCondition = s"(select * from $table where DATE_FORMAT(datetime_field),'%Y%m%d')='$date')tmp" val sourceDF: DataFrame = spark.rea..

2021-09-13 15:22:18 648 2

原创 2021届毕业应届生到现在的职场工作,从一个懵懂大学生到IT职场人的转变

从大学毕业,到7.15,参加工作,快到两个月了!目前就职于品友互动|深演智能,从事大数据开发的工作,从一个懵懂的大学生,到现在的职场小白,这中间经历了啥,悟道了啥,请听我娓娓道来!目录聊聊大学聊聊公司总结一下聊聊大学上的哪里的大学?首先说一下,我上的大学是非211,985的大学,在一本大学里算中等偏上吧,这又要扯到了高考,一言难尽,一句话概括,考的很不理想!先说为啥不理想吧,贪玩了,高中就读于安徽省明光市一中,在当时免免强强吧,当时是以692分进的明光一中普通班,高二进了实验班,随.

2021-09-12 00:13:50 1461 3

原创 IT工程师养成指南——写在前面的话

         整理自己,重新出发!        以前方博文都是想到啥写啥,没有一个具体的方向和规划,既然如此,那我就从自己出发,现在在 品友互动|深演智能 担任大数据开发工程师,那就先阐述一下个人的学习,面试,入职的东西。        再从大数据开发工程.

2021-09-10 10:10:55 80

原创 最强数据库(MySQL,Oracle,MongoDB,Redis,Hbase)教学,建议收藏!

今天上班,打开Airflow卡了一下任务的运行情况,关闭Airflow,一天结束了!本应该是这样,leader在晚上八点多,突然找到了我我很慌,难道上班摸鱼被发现了。其实不是,有个需求要我完成,当场mmp,不能明天再说嘛。搞得我一惊一炸的,打扰我写博客了!今日博客纯干货,还是以脑图的形式展现,等脑图肝完了,再把整个xmind整个文件分享出去。看完觉得有收获,收藏、关注走一波!目录今日学习一览图1. MySQL1.1 前戏1.2 主菜2. Oracle2.1 前戏2.2 主菜3. MongoDB3..

2021-09-09 22:41:02 371 1

原创 大数据系列—数据分析(Spark,Flink)对比学习(stage5)

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-08 17:56:52 552

原创 大数据系列—数据存储(HDFS,Hive,Kafka,Hbase)对比学习(stage4)

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-08 14:48:05 1301 1

原创 大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-07 19:12:07 1336 1

原创 大数据系列—大数据平台的分层结构,个人如何搭建大数据环境(stage2)

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-05 17:49:47 565

原创 从0到1系列—Scala学习从0到1分享

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-05 09:03:14 125

原创 从0到1系列—Python学习从0到1分享

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-04 07:28:37 195

原创 大数据系列—是什么,为什么学,有用吗?(stage1)

Boys,Grils,Friends! My name is Jinsuo.Shi. 一个不正经的大数据开发工程师,目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python,Pandas数据分析,PowerBI数据可视化,机器学习,算法等…个人兴趣爱好:广泛阅读,旅游远.

2021-09-04 06:31:17 193

原创 从0到1系列—Java学习从0到1分享

Boys,Grils,Friends.My name is Jinsuo.Shi,可以叫我 师哥 or 师弟!擅长领域:Java,Python,数据分析,数据可视化,大数据开发…兴趣爱好:阅读,旅游,运动,王者农药…每日一荐:今日推荐好书《好好学习》,从三个维度叫你如何进行学习:数据管理维度、信息管理维度、底层规律维度!【今日重点:知识储备的基础语言篇的Java从0到1】学习路线1.编程工具安装2.基础语法SE学习3.WEB技术学习4.框架技术EE学习附录:个人学习资料包后续更新1...

2021-09-03 08:13:59 186 1

原创 主机没有SQLServer客户端,SparkShell如何连接SQLServer 进行数据探查

Boys,Grils,Friends,我是你的师哥or师弟,不可以叫我师姐or师妹哟!擅长领域:Java,Python,数据分析,数据可视化,大数据开发…兴趣爱好:阅读,旅游,运动,王者农药…每日一荐:今日推荐的是一本好书《乌合之众》,讲述的是在集体环境下的盲从与幻觉,要拥有属于自己的价值体系!【今日重点:今日工作遇到的问题】1.问题描述spark-shell连接sqlserver如何查看库下面所有的表?2.问题探寻常用的方式是连接sqlserver中的某一张表,操作方式是..

2021-09-01 21:46:40 201

职业养成指南脑图.xmind

适合没有一个好的学习体系的朋友们,包括Java,python,本人正在从事的大数据方面的一些知识体系,慢慢的干活

2021-09-12

ssm_crud.zip

对于ssm框架的一个简单实用,适合新手实用,代码比较简单,也实现了模糊查询,连携了mybatis的动态sql

2020-07-27

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除