- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 nosql 配置Hadoop的HA
在master修改core-site.xml文件，使用ns替换master做为Hadoop的访问地址sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml修改后的完整内容如下：<configuration><!-- hdfs 的数据存储位置 --><property><name>hadoop.tmp.dir</name><value>file:/usr/local
2021-12-13 17:50:37
1616
原创 nosql 安装zookeeper
Zookeeper 是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。了防止Zookeeper出现单点故障的问题，Zookeeper也是以集群的形式使用的。推荐集群不少于3个节点，并且节点总量是奇数。在Zookeeper集群中节点的角色总共可以分为以下两类：Leader：集群通过选举过程从所有节点中选举一个节点作为Leader。Leader负责接收客户端的读写请
2021-12-13 17:49:03
1541
原创 nosql
--------------------------------------------聚合函数--查询每个学员学生的年龄总和，最大值 最小值 平均值SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY college;SELECT SUM(age), MAX(age), MIN(age), AVG(age), FROM student GROUP BY clazz;--查询学生总人数大于2的学院SELECT ..
2021-12-13 17:44:52
639
原创 hive求学生们每门课成绩
--求学生们每门课成绩，展示格式--1 80-90-xx-xx-xx--2 xx-xx-xx-xx-xx--COLLECT_SET/COLLECT_LIST:把聚合后的列值放到集合中。--CONCAT_WS:取出字符串集合中的每个元素，使用指定分隔符分隔--CAST:hive中转换字符串类型的SELECT student_id ,CONCAT_WS('-',COLLECT_LIST(CAST(score AS STRING)) )FROM scoreGROUP BY studen...
2021-11-23 08:55:03
404
原创 java 查询输出星座
package com.udf;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import org.apache.hadoop.hive.ql.exec.UDF;public class UDFZodiacSign extends UDF{public String evaluate(String birthday
2021-11-23 08:53:51
1555
原创 Python 序列化
'''Python的序列化是指把变量从内存中变为可以储存/传输的数据/文件的过程。在Python中叫pickling，序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling'''#1,dumps()与loads（）import pickledata = {'k1':123, 'k2': 'Hello'}p_str = pickle.dumps(data) #注意dump
2021-11-11 17:00:01
564
原创 Python os模块
'''os模块:是Python标准库中的一个用于访问操作系统相关功能的模块，提供了一种可移植的使用操作系统功能的方法。使用os模块中提供的接口，可以实现跨平台访问。但是，并不是所有的os模块中的接口在全平台都通用，有些接口的实现是一来特定平台的，比如linux相关的文件权限管理和进程管理。os模块的主要功能：系统相关、目录及文件操作、执行命令和管理进程。 其中的进程管理功能主要与Linux系统相关。这部分内容会在Linux相关课程中进行讨论和学习。...
2021-11-11 16:58:29
1046
原创 Python 函数
'''Map,Filter和Reduce三个函数能为Python函数式编程提供我们会通过实例来分别讨论并理解他们1.map()函数map()函数接受一个函数f和一个序列sq，这是它的规范map(函数,序列)'''items = [1,2,3,4,5,6]squared = [] #将平方后的数字存进去for i in items: squared.append(i**2)#向squared列表中添加元素，每次循环添加到最后print(squared)..
2021-11-11 16:57:13
373
原创 Python 索引切片 删除添加
#切片（slice）:作用是从字符串序列中取出一部分相应的元素重新组成一个串#list列表num = [1,2,3,4,5]print(num)#优点：python支持不同数据类型可以混合存储在一个列表中#缺点：会导致数据存储不紧凑，整个结构占用很多空间num1 = [1,'python',3.1415926]print(num1)#sum():求和print(sum(num))#len():统计列表中元素的个数print(len(num))#根据索引
2021-11-11 16:56:10
554
原创 Python 迭代器可迭代对象
'''1.可迭代对象（Iterable）,可以使用for循环遍历的对象，我们称之为可迭代对象2.迭代器（Iterator）提供数据和记录位置的对象，迭代器对象从集合的第一个元素开始访问，直到所有的元素访问完结束3.迭代（Iteration）python中可以用for循环使用取值操作的过程4.生成器（generators）如果函数中有yield我们称之为生成器迭代是Python最强大的功能之一，是访问集合元素的一种方式常见的容器类型，如列表，集合，字典，元组等都有一个对应的迭代器—
2021-11-11 16:53:18
357
原创 Python 数值的计算
#绝对值的计算：absprint(abs(-7))print(abs(7))#进制之间的转换：bin(),oct(),ord()#print(bin(100))#print(oct(100))#print(ord(100))#Ascll码表与字符之间的转换print(chr(37))print(ord('@'))#商和余数的计算:divmod()#print(divmod(10,3)) 10//3 10%3#幂计算：powprint(pow(2,5).
2021-11-11 16:52:01
918
原创 Python 日期时区获取
# datetime.datetime类# 定义：class datetime.datetime(year, month, day, hour=0, minute=0, second=0, microsecond=0, tzinfo=None)# 一定要注意这是datetime模块下的datetime类# datetime模块下的日期时间类，你可以理解为datetime.time和datetime.date的组合类。# utc：代表东八区时间，也就是北京时间from datetime i
2021-11-11 16:50:31
1600
原创 Python 变量作用域
'''在函数中，Python会按照以下顺序，在各个作用域的命名空间中寻找变量：1.函数局部作用域（Local Function Scope）；2.闭包作用域（Enclosing Scope）；3.全局作用域（Global Scope）；4.内置作用域（Built-in Scope）。如果有重名的变量，局部优先于闭包，闭包优先于全局，全局优先于内置。'''#1.函数局部作用域只能在函数里面用，在函数外面调用，不起作用def foo(a,b): c = 1 ...
2021-11-11 16:48:49
502
原创 Python 异常处理
'''捕捉异常我们在运行代码时经常遇到程序出错的情况，在Python中，这些错误通常叫做异常异常最基本的术语：try/except子句。表示可能触发异常产生的代码会放到try语句块 里，而处理异常的代码会在except语句块里实现'''try: text = input('请输入:') #容易出异常的代码 如果出现异常向下面比较，看符合哪一个异常，就输出符合的异常下面的代码except EOFError: #读取异常ctrl+Z/crtl+d print(...
2021-11-11 16:47:00
207
原创 Python sys模块
'''sys.argv[0]表示程序文件本身文件名（含路径）sys.argv[1]表示运行命令的第一个参数sys.argv[1:]表示运行命令的第二个到最后一个参数sys.argv 表示运行命令的全部参数'''import sys#1.处理命令运行参数sys.argvprint('程序路径:',sys.argv[0])#2.处理模块sys.path'''path列表是一个由目录名构成的列表，返回模块的搜索途径 python从中查找模块（python 源模块
2021-11-11 16:45:17
287
原创 2021-05-21
创建文件夹的命令hdfs dfs -mkdir -p /usr/hadoop/input 创建多级目录hdfs dfs -mkdir /hadoop创建单级目录把本地文件添加到hdfs dfs -appendToFile 本地路径 hdfs上的路径hdfs dfs -cat /a.txt 查看文件查看文件末尾 查看的是1kb的内容hdfs dfs -tail /a.txt移动hdfs上面的文件或目录hdfs dfs -mv /a.txt（hdfs上的路径） /usr/hadoop/i...
2021-05-21 09:34:36
84
原创 2021-05-18
HashSet笔记import java.util.Arrays;import java.util.Collections;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Set;public class HashSetTest {private static final Iterator Interator = null;public static
2021-05-18 17:19:07
79
原创 2021-05-07
HashSet笔记import java.util.Arrays;//导包import java.util.Collections;import java.util.HashSet;import java.util.Iterator;import java.util.List;import java.util.Set;public class HashSetTest {private static final Iterator Interator = null;public st
2021-05-07 15:43:14
90
原创 2021-05-05
面向对象的特征-------继承继承1.提高了代码的重用性，子类继承了父类的所有属性和方法，所以子类不再重复定义2.提高了代码的可扩展性，子类可以写自己独特的属性和方法，在父类的基础上进行扩展继承的语法：[ 修饰符] class 类名 extends 父类 impleemeents 接口{继承的说明1.子类继承了父类的所有属性和方法，只不过只能调用父类的非private(私有的)属性和方法2.java中的继承只支持单继承，意思就是说一个子类只能继承一个父类，但允许多层继承3.父...
2021-05-05 12:59:00
102
原创 2021-05-05
MySQL笔记一.#查询数值型数据:SELECT * FROM tb_name WHERE sum > 100;查询谓词:>,=,<,<>,!=,!>,!<,=>,=<二.#查询字符串SELECT * FROM tb_stu WHERE sname = '小刘'SELECT * FROM tb_stu WHERE sname like '刘%'SELECT * FROM tb_stu WHERE sname lik...
2021-05-05 12:54:47
234
原创 2021-05-05
package second.feuGe;//客户类public class Customer extends Person{ private String CustomerId;//客户ID private String phone;//手机号 //无参构造器方法 public Customer() { } //有参构造器方法 public Customer(String CustomerId,String phone)...
2021-05-05 12:50:09
55
原创 2021-05-05
循环给值package second.feuGe;import java.util.Arrays;public class CustomerData { //数组的长度，数组能多能少 private static int SIZE=10; //计数，计算数组到底放了几个值，记住count不能比size大 private static int COUNT=10; //声明了一个客户类的数组，长度不固定，给了一个size--...
2021-05-05 12:47:42
52
原创 2021-05-05
增加学生年龄和成绩package first;//学生集合类public class three { one [] xsong=new one[41]; //增加学生信息——————给数组赋值 public void add(one xs) {//one xs 代表一个学生的信息 for(int i=0;i<xsong.length;i++) { if(xsong[i]==null) { ...
2021-05-05 12:43:16
54
原创 2021-05-04
面向对象---装箱拆箱public class TestInteger { public static void main(String[] args) { /**装箱 * 基本数据类型赋值给引用数据类型 * 语法 * 1.Integer i2 = i1; */ int i1 = 10; Integer i2 = i1; Integer i3 = new Integ...
2021-05-04 15:17:32
44
原创 2021-05-04
面向对象---集合框架package First;import java.util.ArrayList;import java.util.Iterator;import java.util.List;public class TestLIist {public static void main(String[] args) { /** * ArrayList 有序 有下标 数据可重复 * LinkedList 查询慢 删除和插入数据快 */ L...
2021-05-04 15:13:18
57
原创 2021-05-04
面向对象-------抽象类和接口public abstract class Animal {/*** 抽象类语法：public abstract class 类名 {}* 可以声明：属性和方法 构造器方法 抽象方法* 特点1:抽象类里面不一定有抽象法方法 2:抽象类里面的方法不一定都是抽象方法，也可以有方法和构造器* 3:有抽象方法的类一定是抽象类*抽象类不能实例化兑现，只能通过向上转型进行实例化 Animal a =new Dog()*/ int age;...
2021-05-04 15:10:29
50
原创 2021-05-04
面向对象处理异常import java.util.Scanner;public class first {public static void main(String[] args) { Scanner scanner = new Scanner(System.in); /**int num1 = 100;//被除数 System.out.println("请输入除数:"); int num2 = scanner.nextInt(); int ...
2021-05-04 15:07:01
48
原创 2021-05-02
ArraysList接口笔记ArraysList接口的所有方法及使用方法1.boolean add(E e)将指定元素追加到此列表的末尾add();添加数据list.add("张三");list.add(10);list.add(10.1);2.void add(int index, E element)在列表中的指定位置插入指定的元素add.（int index , E element）;list.add("3,李四");在下标为3的位置上添加一个李四3.add
2021-05-04 14:56:30
145
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人