- 博客(24)
- 收藏
- 关注
RSS订阅原创 maven
学习maven的一天一.maven介绍1.使用需求:软件开发中遇到的问题1. jar包的依赖与管理项目中有很多jar包：问题：不能确定jar包的完全正确性、不同技术框架版本的管理、jar包的依赖2.自动构建项目软件开发:可行性分析,需求分析,软件设计,软件开发,发布,运维软件构建:软件已经开发完毕,需要构建成一个产品进行发布构建步骤:(生命周期)清除–> 编译–&...
2019-10-28 10:53:00
224
原创 Spark_3
学习Spark第三天一.常用transformationpackage main;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.jav...
2019-10-24 08:17:19
246
原创 spark_2
学习spark第二天一.spark基本工作原理1.分布式2.主要基于内存(少数情况基于磁盘)3.迭代计算二.RDD及其特点1.RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,及弹性分布式数据集2.RDD在抽象上来说是一种元素集合,包含了数据.他是被分区的,分为多个区,每个分区分布在不同的节点上,从而让RDD中的数据可以被并行操作(...
2019-10-24 08:16:55
212
原创 spark_1(概述与集群搭建)
学习spark第一天一.Spark概述1.什么是Spark(官网：http://spark.apache.org)Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkS...
2019-10-21 20:14:37
215
原创 HBase第四天
学习HBase第四天1.创建表dashujupackage com.hbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org...
2019-10-21 18:59:15
144
原创 Scala_1
学习Scala第一天REPL:Read(取值) -> Evaluation(求值)->Print(打印) ->Loop(循环)paste是计入粘贴模式tab键可以自动补全内置变量例如: 输入1+1 会看到res0:lnt=22.0*res0,返回res1: double=4.0声明变量1.val : 值不可变2.var : 值可变指定类型无论声明变量v...
2019-10-16 08:30:25
535
原创 HBase第三天
学习HBase第三天1.HBase常用shell操作1.1.进入HBase客户端命令操作界面bin/hbase shell1.2、查看帮助命令help1.3、查看当前数据库中有哪些表list1.4、创建一张表create ‘user’,‘info’,‘data’或者create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}...
2019-10-10 20:10:44
151
原创 HBase第二天
学习HBase第二天**1.**HBase的基础结构1.1、HMaster功能：监控RegionServer处理RegionServer故障转移处理元数据的变更处理region的分配或移除在空闲时间进行数据的负载均衡通过Zookeeper发布自己的位置给客户端1.2、RegionServer功能：负责存储HBase的实际数据处理分配给它的Region刷新缓存到H...
2019-10-10 15:46:09
122
原创 HBase第一天
学习HBase第一天1.HBase基本介绍hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。结构化数...
2019-10-10 14:57:08
115
原创 学习python的第六天
学习python的第六天import multiprocessingimport osdef info(tilte): print(title) print(__name__) print('father',os.getppid())#返回父进程id print('self',os.getpip())#返回当前进程id print("---------")if __name_...
2019-09-28 15:45:35
95
原创 学习python的第五天
学习python的第五天PEP8编码规范,以及开发中的一些惯例和建议1.代码编排:缩进四个空格,禁止空格与Tab混用行长80:防止单行逻辑过于复杂2.import不要使用 from xxx import *顺序2.1.标准库2.2.第三方库2.3.自定义库单行不要 import多个库模块内用不到的不要去 import3.空格: , ; 后面跟一个空格,前面无空格(行尾分...
2019-09-28 15:45:23
84
原创 学习python的第四天
学习Python的第四天一.类和对象:(对象是累的实例化)1.定义类(class)class lei(object): def __init__(self):#在创建对象时进行初始化 self.a=1000 def study(self): print("正在学习")if __name__=="main": lei_=lei() #相当于调用__init__() lei_...
2019-09-28 15:45:13
88
原创 学习python的第三天
学习python的第三天一.函数参数:1.函数的参数为默认值的 例:def add(num=1)2.可变参数a.定长参数:例:def add(num)b.不定长参数:参数前面加 * 好例:def add(*num)带默认参数在前面加 **例: def add(**num)注:带默认参数的放在后面用import导入指定的模块zuo_ye.pydef foo(): ...
2019-09-28 15:44:58
89
原创 学习的python的第二天
学习python的第一天[1,2,3,[5,6],9] 列表{‘apple’, ‘orange’, ‘apple’, ‘pear’} 集合{key1 : value1, key2 : value2 } 字典(‘physics’, ‘chemistry’, 1, 2) 元组2.for - in 循环for i in range(): 语句体例:sum=0for i in r...
2019-09-28 15:44:45
65
原创 学习python的第一天
学习python的第一天一 变量和类型:1.类型:整形: int浮点型: float 有小数位注: 运算时小数比整数快 原因:2=1.99999999字符串型:String 有单引号和双引号布尔型:bool 只有True和False说明: python中除了 0 与 null 其他都为真复数型:complex 如:5+6j python...
2019-09-28 15:44:31
126
原创 学习hive
学习hive第一天1.hive是一个可以将sql翻译为mr程序的工具,支持用户将hdfs上的文件映射为表结构,进行查询2.HIVE将用户定义的库、表结构等信息存储hive的元数据库3.hive的查询方式第一中:交互式查询hive>select * from t_1;第二种:将hive作为命令一次性运行hive -e "use default;create table tset_...
2019-09-28 15:43:33
1289
原创 学习mysql的第三天
学习mysql的第三天一主从同步1.连接mysqlmysql -uroot -p111111 -S /data/3307/mysql.sock2.锁表flush table with read lock3.备份mysqldump -uroot -p111111 -S /data/3307/mysql.sock -A --evnets > aaa.sql4.把shop.sql...
2019-09-22 20:23:42
113
原创 homework3
第一题def average(): count_1=0 count_2=0 sum_0=0 sum_1=0 sum_2=0 num=1 while num!=0: num=int(input("请输入数>>>")) if num>0: count_1 +=1...
2019-09-22 18:57:04
101
原创 HomeWork4
#第一题def getpent(): sum=0 count=0 for n in range(1,101): sum=n*(3*n-1)/2 count +=1 print(sum,end=' ') if count%10==0: print()getpent()#第二题d...
2019-09-22 18:56:40
188
原创 学习mySQl的第一天
学习MySQL的第一天MySQL是管理数据的红旗(Linux中国模仿的):1999.8.10诞生1.历史:1961 网状数据库(代表:DBTG系统)网络数据库(数据和资源共享这两种技术结合在一起)Maridb :MySQL的创始人2.关系型数据库 :MySQL mssql db2 orcale二维表的形式存储数据| 1 | zhnan |...
2019-09-20 21:06:43
204
原创 学习MySQL的第二天
学习MySQL的第二天1.创建mysql 虚拟用户useradd -s /sbin/nologin myql2.创建存放软件的文件夹mkdir /application3.解压tar xf mysql-5.5.62-linux-glibc2.12-x86_64.tar.gz -C /application/4.创建软链接ln -s mysql-5.5.62-linux-glibc...
2019-09-20 21:05:54
123
原创 homework1
第一题"""def p_b_s(a,b,c): pan_bie_s=b**2-4*a*c if pan_bie_s>0: r1=(-b+(pan_bie_s)**0.5)/2/a r2=(-b-(pan_bie_s)**0.5)/2/a print("The roots are %fand%f"% (r1,r2)) ...
2019-09-18 20:39:48
125
原创 学习python第七天
学习python第七天多线程#主线程与小弟线程import _thread #多线程,一般不用import win32apidef show(i): #0代表系统,你真帅代表内容,0代表窗口类型0,1,2,3 mystr=win32api.MessageBox(0,"你真帅",0)for i in range(5): #小弟线程 _thread.start_new_thre...
2019-08-22 23:05:39
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人