学习
LeviathanWang
大三
展开
-
StructType的注意事项
StructType的注意事项实现代码 val schema = StructType( List( StructField("1",IntegerType,true) //....N个字段。。。 ) )解析StructType( ) 中可以放List、SeqStructField( )源码: case c...原创 2020-03-11 19:15:13 · 1440 阅读 · 2 评论 -
【从零开始 】Lua的学习
Lua学习简介Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。安装由于macOS中没有自带Lua,所以我们需要自己进行安装macOS:将下载好的tar.gz文件 直接双击解压,再进入Terminalsudo make macosx testsudo make install输入pa...原创 2020-02-25 20:22:27 · 577 阅读 · 0 评论 -
【项目实战】反爬虫监控系统_Day01
反爬虫监控系统__Day01简介什么是爬虫?爬虫能获取目的网页中的内容:例如商品的信息、编号、内容、介绍、图、链接(这是最基本的功能)重要特性:往往是一次到位直接进入对应的页面,这与普通用户的操作不同百度百科:是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web C...原创 2020-02-24 20:32:50 · 487 阅读 · 0 评论 -
【错误日志】数仓部分遇见的错误及解决方式
0.phoenix启动报错:org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG解决办法:去zk里面删除SYSTEM.CATALOG等表 rmr /hbase/table/SYSTEM.CATALOG rmr /hbase/table/SYSTEM.SEQUENCE rmr /hbase/table/SYSTE...原创 2020-02-24 12:37:11 · 955 阅读 · 0 评论 -
【从零开始】基于CentOS 7 搭建的步骤和部分遇见的问题解决
由于我之前都是机遇CentOS 6进行学习和搭建的各种大数据的东东,比如Hive,Hbase,sqoop等等,但是目前普遍的都是使用的CentOS 7 所以我利用闲暇时间重新搭建了一次,并记录了下来,供参考,后续会再更新的 。。。基础信息配置配置主机名su rootvi /etc/hostname配置网络vi /etc/sysconfig/network-scripts/ifcfg...原创 2020-02-24 12:34:43 · 230 阅读 · 0 评论 -
Big_DATA_009 Java 常用类、包装类、枚举、异常
9、常用类、包装类、枚举、异常9.1、常用类9.1.1、Math类是数学类,这个类中定义了若干个数学公式。// 圆周率// Math.PI// 自然对数// Math.E// 求绝对值// Math.abs(a)// 求两个数字的最大值// Math.max(a, b)// 求两个数字的最小值// Math.min(a, b)// 求a的b次方// Math.po...原创 2019-10-14 18:42:43 · 218 阅读 · 0 评论 -
Big_DATA_008 lambda表达式
8、lambda表达式和内部类重点:8.1、使用lambda表达式实现接口8.2、lambda表达式的基础语法8.3、lambda表达式的语法进阶次重点:8.4、lambda表达式的函数引用8.1、lambda表达式简介8.1.1、lambda表达式的简介lambda表达式jdk1.8之后推出的新特性。本质上来说,lambda表达式就是一个匿名函数。可以使用lambda表达...原创 2019-10-14 18:41:53 · 159 阅读 · 0 评论 -
Big_DATA_007 Java 抽象类和接口
7、抽象类和接口7.1、抽象类7.1.1、抽象方法如果一个方法,只有方法的声明部分,没有方法的实现(没有方法体),这样的方法,就是抽象方法。抽象方法的定义,需要一个关键字 abstractpublic abstract void bark();public abstract int calculate(int a, int b);7.1.2、抽象类用关键字 abstract ...原创 2019-10-14 18:41:08 · 224 阅读 · 0 评论 -
Big_DATA_006 Java 面向对象三大特性
6、面向对象三大特性6.1、封装6.1.1、封装性封装是一个比较大的概念把一段功能提取出来,做成一个方法:功能封装把若干具有相同特征的数据,提取出一个类:类的封装、数据封装把若干个相关功能的类提取出来:模块封装6.1.2、属性的封装如果一个类中的某些属性,不希望外界直接访问,可以将这些属性封装起来。Q:为什么不希望外界直接访问?A:因为外界直接访问,可能赋值会出乎我们的...原创 2019-10-14 18:40:42 · 229 阅读 · 0 评论 -
Big_DATA_005 Java 面向对象
5、面向对象基础重点:1、类的设计与对象的实例化2、成员访问3、构造方法难点:1、类是一个引用数据类型2、类与类之间的相互引用文章目录5、面向对象基础5.1、面向对象的简介5.1.1、面向对象与面向过程5.1.2、案例分析5.1.3、类和对象5.2、类的设计5.2.1、类的定义5.2.2、类中的成员定义5.3、对象的实例化5.3.1、对象实例化的方式5.3.2、对象的内存分析5...原创 2019-10-08 21:48:07 · 194 阅读 · 0 评论 -
Big_DATA_004 Java 数组
4、数组重点:1、数组的内存分析(引用数据类型)2、数组的排序难点:1、数组的内存分析(引用数据类型)1、会定义数组、实例化数组、元素访问2、数组是一个引用数据类型3、数组的排序文章目录4、数组4.1、数组的简介4.2、数组的定义与实例化4.2.1、数组的定义4.2.2、数组的实例化4.3、数组的内存分析4.3.1、数组的实例化4.3.2、引用数据类型4.4、数组的元素访问...原创 2019-10-08 21:45:45 · 139 阅读 · 0 评论 -
W1D5作业题
1、设计一个方法,找出一个数组中最大的数字,连同所在的下标一起输出public static int theMaxnumber(int[] arry) { int numax = arry[0]; int temp = 0; for (int i = 1; i <= arry.length - 1; i++) { if (numax < arr...原创 2019-09-28 21:47:48 · 500 阅读 · 0 评论 -
Big_DATA_002 Java 流程控制
2、流程控制2.1、什么是流程控制2.1.1、程序的执行结构顺序结构:代码从上往下,依次执行。是程序执行的基本结构。分支结构:程序运行到某一个节点,出现了多种继续执行的可能性。通过指定的条件,来决定程序往哪一个方向执行。循环结构某一段代码需要被重复执行多次。2.1.2、流程控制的简介使用指定的控制语句,修改程序的执行结构。流程控制语句,按照修改的程序...原创 2019-09-26 19:05:23 · 142 阅读 · 0 评论 -
W1D2作业
作业题1. 进制转换0x11F7 = 0b__0 001 000 111 110 111_ = 0__10767___-> 0b 0001 0001 1111 01110 001 000 111 110 111 1 0 7 6 7 -> 010767 07627 = 0x_F97_ = 0b_0000 1111 1001 0111_-&g...原创 2019-09-26 19:06:54 · 181 阅读 · 0 评论 -
W1D3作业
流程控制练习题基础题int a = 10, b = 20;boolean ret = a++ > --b & --a == b++ || a++ < --b;System.out.println("ret = " + ret + "; a = " + a + "; b = " + b);首先把一元运算符都计算出来 并且记录好ab的值;再看其他的 比如短路或 可以...原创 2019-09-26 19:07:25 · 323 阅读 · 0 评论 -
W1D3 图形打印练习题 ——新思路
流程控制练习题基础题图形打印:***** 1 5**** 2 4*** 3 3** 4 2* 5 1for (int line = 1; line <= 5; line++) { for (int colum = 1; colum + line <= 6; colum++) { System.out.print("* "); } System...原创 2019-09-27 17:06:30 · 164 阅读 · 0 评论 -
Big_DATA_003 Java 方法
3、方法重点:1、方法的定义与调用2、方法的参数3、方法的返回值4、方法的重载难点:1、方法的参数2、方法的返回值3.1、方法的简介方法,是对一段代码段的封装。可以把一段具有执行功能的代码段封装起来,做成一个方法。这样做的话,可以做到重复使用。一次包装,多次使用。循环:要求重复执行的代码段之间,重复是有一定的规律的。在Java中,方法和函数其实是概念模糊的。方法近似...原创 2019-09-27 21:47:44 · 194 阅读 · 0 评论 -
9.27 题目预测
9.27 题目预测// 一个球 100米落下 求第十次落地共经过多少米public static void Boom() { double heigh = 200; double sum = 0; for (int i = 1; i <= 10; i++) { sum += heigh; heigh /= 2; } ...原创 2019-09-27 21:49:44 · 237 阅读 · 0 评论 -
W1D4 作业题
1、设计一个方法,输出所有的水仙花数static void waterFlowerNumber(int n) { if (n > 100 && n < 999) { int a = n / 100; int b = n / 10 % 10; int c = n % 10; int sum = a ...原创 2019-09-27 21:50:42 · 244 阅读 · 0 评论 -
Big_DATA_001 Java语法基础
Java语法基础文章目录Java语法基础1 Java简介1.1 编程简介1.2 Java简介1.3 开发环境2 进制2.1 什么是进制2.2 进制的表示形式2.3 进制转换2.4 原码、反码、补码3 数据类型4 标识符5 变量&常量5.1 变量常量的概念5.2 变量常量的定义方式5.3 各种数据类型的变量定义6 注释7 数据类型转换7.1 什么是数据类型转换7.2 自动类型转换7.3...原创 2019-09-26 15:14:34 · 286 阅读 · 1 评论