- 博客(42)
- 收藏
- 关注
RSS订阅原创 java 方法重载 形参是主类型的情况
mark下小细节情况1传入实参有对应形参类型，直接调用这个最佳匹配的方法情况2传入实参没有最佳匹配情况下，实参数据类型大小<形参数据类型大小的byte，short类型转化为intchar类型获得的效果稍微有些不同，如果没有发现一个准确的char匹配，就转换成intint实参优先变成 long float doubleint总是优先变成占用空间最少的主数据类型情况3...
2020-06-04 10:28:48
212
原创 MySQL 相关函数
通配符% 0或者多个字符_ 任意一个字符[charlist] 字符列中的任何单一字符[^charlist] or [!charlist] 不在字符列中的任何单一字符^[charlist] 以字符列中任何单一字符开头的下面的 SQL 语句选取 name 以 "G"、"F" 或 "s" 开始的所有网站：SELECT * FROM We...
2020-03-10 16:31:20
237
原创 Makefile 自己的一点理解
原博客https://blog.csdn.net/weixin_38391755/article/details/80380786https://www.cnblogs.com/nosadness/p/5136652.htmlMakefile是什么？个人理解是描述文件依赖关系的文件，make是一个解释Makefile文件指令的命令工具Makefile是为了实现工程的自动编译而存...
2020-01-10 14:11:45
362
转载 C/C++中 #include 与 #include"" 区别
原文链接：https://www.cnblogs.com/monica-blog/p/7567586.html#include<>: 直接从编译器自带的函数库(系统目录)中寻找文件 【没有再到当前目录下找? 答案应该是否定的，没有的话，报错。】 所以像标准的头文件 stdio.h、conio.h、string.h、stdli...
2019-12-05 16:12:59
283
原创 gcc 简单用法
推荐网址 https://www.lagou.com/lgeduarticle/626.html分文件编程 demomain.c#include<stdlib.h>#include<stdio.h>#include"myMin.h"int main(){ int a,b,c; printf("第一个： "); scanf("%d",&a...
2019-12-05 15:43:12
133
原创 POSIX系统标准
POSIX标准 portable operating system interface ，POSIX就是专门为Unix系统提供的一套系统方法库，可移植性操作系统接口提出这个标准的原因 便于同一个应用程序在不同的满足POSIX标准的系统之间互相移植，类似于java的jvm，Java程序运行在jvm上，jvm可以兼容不同的os。满足了java程序移植性的需求。（1）面向应用（2）定...
2019-12-04 13:17:30
773
原创 C 内存模型和智能指针
参考：https://www.cnblogs.com/shilinnpu/p/8873271.htmlc++的内存分为1.全局和静态存储区（.data segment和.bss segment）全局和静态被分配到一块内存里在c里面bss(Block Started by Symbol以符号开始的块)：.bss保存只有声明没有初始化的全局变量.data 数据段：一般存放已经初...
2019-10-12 16:46:38
200
原创 C++重载运算符以及operator=的重载
重载运算符问题引入int a=10int b=20int c=a+b对于内置数据类型编译器知道如何运算（+）然后对于自定义类型People p1+People p2 编译器是处理不了的，因为People类内部没有定义 操作符 +，在People类内定义成员函数#include <iostream> #include<string>...
2019-10-11 14:42:56
11498
原创 C++构造函数
构造函数1.为什么需要构造函数？因为要创建对象，类要提供一种或几种成员函数来控制其对象初始化的过程，这种特殊的成员函数就是构造函数2.构造函数的定义构造函数的名字和类的名相同 构造函数没有返回值 构造函数不能被声明成const的 直到函数完成初始化过程，类内的const对象才真正获得“常量属性” 不同的构造函数必须在形参的数量或者数据类型上有所不同3. 构造函数的类...
2019-09-18 16:13:04
162
原创 Kafka 删除topic
删除topic里面的数据这里没有单独的清空数据的命令，这里要达到清空数据的目的只需要以下步骤：一、如果当前topic没有使用过即没有传输过信息：可以彻底删除。二、 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（markedfordeletion）。想要彻底删除topic数据要经过下面两个步骤：①：删除topic,重新用创建t...
2019-03-29 15:38:27
215
原创 Flume
一手连接业务系统，一手连接HDFS最基本的单位agent： 包含source channel sink Apache Flume是一个分布式、可靠、可用的系统，用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。 Flume简介Flume的核心是Agent，Agent中包含Source、Channel、Sink。Ag...
2018-10-30 15:06:33
166
转载 如何查看MySQL的版本？
原文地址：http://blog.csdn.net/lamp_yang_3533/article/details/52266320查看MySQL的版本，主要有以下几个方法：1. 没有连接到MySQL服务器，就想查看MySQL的版本。打开cmd，切换至mysql的bin目录，运行下面的命令即可： e:\mysql\bin>mysql -Vmysql Ver 14.14 D...
2018-09-28 11:58:40
27295
原创 java中四种引用类型
java中四种引用类型 今天看代码，里面有一个类java.lang.ref.SoftReference把小弟弄神了，试想一下，接触java已经有3年了哇，连lang包下面的类都不了解，怎么混。后来在网上查资料，感觉收获颇多，现记录如下。对象的强、软、弱和虚引用 在JDK 1.2以前的版本中，若一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于可触及（r...
2018-08-27 13:59:49
179
转载 实现Runnable接口和继承Thread类区别
如果一个类继承Thread，则不适合资源共享。但是如果实现了Runable接口的话，则很容易的实现资源共享。实现Runnable接口比继承Thread类所具有的优势：1）：适合多个相同的程序代码的线程去处理同一个资源2）：可以避免java中的单继承的限制3）：增加程序的健壮性，代码可以被多个线程共享，代码和数据独立直接看代码：1、继承Thread的demopackag...
2018-08-09 10:43:11
449
原创 HDFS常用命令 启动流程
第一次启动集群hadoop-daemon.sh start journalnodenn1:hdfs namenode -format 产生clusterid fsimagezkServer.sh starthdfs zkfc -formatZK 创建一个文件夹创建节点锁 实现zk公用hadoop-daemon.sh start namenodenn2:hd...
2018-08-02 11:12:42
2671
原创 HDFS优化常用项
dfs.datanode.max.transfer.threads一个datanode上最多能创建多少个XDataceiver进程 4096个(datanode收到一个请求就要创建一个XDataceiver进程) dfs.namenode.handler.count NameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器...
2018-07-31 15:47:57
538
原创 hive小例子-----手机基站掉话率
实验数据大家自己下https://pan.baidu.com/s/1AYkb_B3GIuMGKiIbmJvV6w建表create table cell_monitor(record_time string,imei string,cell string,ph_num int,call_num int,drop_num int,duration int,drop_rate double,net_ty...
2018-07-11 11:17:57
433
原创 hive知识大全
Hive 的产生 Hive 产生的原因：方便非java 编程者（熟悉 SQL 语言）对 hdfs 的数据做 mapreduce操作。 Hive 是数据仓库 数据库：用户与数据库交互，提交 SQL 语句后，马上见到执行结果；存放业务数据；数据库提出范式的概念是为了解决数据冗余和耦合的问题；数据库给业务数据提供存储支撑。数据仓库：不与用户交互；存放历史数据；反范式设计，专门引入冗余数据...
2018-07-10 12:05:48
3276
原创 hive 对json数据的处理
hive 存储，解析，处理json数据 hive 处理json数据总体来说有两个方向的路走1、将json以字符串的方式整个入Hive表，然后通过使用UDF函数解析已经导入到hive中的数据，比如使用LATERAL VIEW json_tuple的方法，获取所需要的列名。2、在导入之前将json拆成各个字段，导入Hive表的数据是已经解析过得。这将需要使用第三方的SerDe。 测试数据为新浪微博测试...
2018-07-01 12:24:54
1784
转载 输入一个正数 n，输出所有和为 n 连续正数序列
很好的一个题目，很久不写都忘了。。。。。。推荐给大家输入一个正数 n，输出所有和为 n 连续正数序列 例如输入 15，由于 1+2+3+4+5=4+5+6=7+8=15，所以输出 3 个连续序列 1-5、4-6 和 7-8。 分析：我们用两个数small和big分别表示序列的最小值和最大值。首先把small初始化为 1，big初始化为 2。如果从small到big的...
2018-06-26 11:39:20
4525
原创 JDBC连接Hive
import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveJdbcClient { private static String driverN...
2018-06-19 21:47:31
185
原创 使用Beeline连接Hive
服务端启动hiveserver2 [root@node04 ~]# hiveserver2客户端进入beeline并连接 [root@node03 ~]# beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://node04:10000 Connecting to jdbc:hive2://nod...
2018-06-19 16:29:05
19223
1
原创 Hive的DDL和DML操作
hive官网链接点击打开链接摘要Create/Drop/Alter/Use Database创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_...
2018-06-18 22:25:36
390
原创 Hive 基础原理
为什么有有hive ？便于一些不会java的人对HDFS上的数据执行MapReduec操作。Hive是一种数据仓库HIVE: 解释器 编译器 优化器 sql ——》执行计划Hive运行时，元数据储存在关系型数据库里Hive不支持事物，非实时，不支持行级别的CRUD。因为HDFS不支持数据库：业务数据。 三大范式，减少冗余。给业务系统支撑数据仓库：历史数据。HDFS 引入...
2018-06-17 10:07:28
370
1
原创 linux服务器各个节点时间同步
所有节点安装NTP：yum install ntp 配置开机启动：chkconfig ntpd on 检查是否设置成功：chkconfig --list ntpd （2-5为on状态则成功） 设置同步：ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用210.72.145.44-国家授时中心服务器IP地址）...
2018-06-13 15:43:23
1699
原创 xshell里 ip的主机名对应
C:\WINDOWS\System32\drivers\etc\hosts 192.168.189.33 node001
2018-06-13 15:26:28
4342
原创 hive 三种搭建方式
2 多用户模式将hive-site.xml配置文件拆为如下两部分 1）、服务端配置文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <confi
2018-06-13 13:39:16
360
原创 Spark几种运行模式及搭建（持续更新中。。。。。。。。。。。。）
Spark计算引擎可以运行在standalone，yarn，mesos上。spark 版本 spark-1.6.0-bin-hadoop2.6.tgz三个结点 node001 192.168.189.37 node002 192.168.189.38 node003 192.168.189.39sta...
2018-05-21 16:38:03
350
原创 Spark基本概念扫盲全知道（持续更新修改中。。。。。）
RRDspark的核心弹性分布式数据集 Resilient Distributed DatasetsRDD，包含一组分区列表（实际上是分区到block的映射，具体数据可以是分布式的存储在HDFS各个节点上）以及一组transformation或action算子。RDD的五大特性官网原文1.A list of partitionsrdd里存的不是数据，只是分区到block块的映射，具体数据存在HDF...
2018-05-18 20:59:53
230
原创 linux报name or service not known错误解决方案
这几天部署spark，总是报name or service not known错误，报错信息明显，心想一定是/ect/hosts文件错误，但是改了好多次并没有解决。。。。。结果是忽略了网络主机名字设置。/etc/sysconfig/network。真的很坑总结 /etc/hosts 文件 配置如下127.0.0.1 localhost localhost.localdoma...
2018-05-18 10:24:21
104844
3
原创 Linux下myqsl 报错Access denied for user 'root'@'localhost' (using password: NO)解决
service mysqld stopmysqld_safe --user=mysql --skip-grant-tables --skip-networking &mysql -u root mysqlmysql> UPDATE user SET Password=PASSWORD('newpassword') where USER='root';mysql> FLUSH P...
2018-05-15 20:26:18
823
转载 SQL三大范式秒懂
第一范式(1NF) (必须有主键，列不可分) 数据库表中的任何字段都是单一属性的，不可再分 create table aa(id int,NameAge varchar(100)) insert aa values(1,''无限-女 '') 没有达到第一范式 create table aa(id int,name varcahr(10),age char(2)) insert aa values...
2018-05-15 16:58:50
3004
原创 Storm 学习笔记 （三）菜鸟乐园
经过前面两次学习笔记的接受相信大家已经对storm的基本运行原理有了初步认识，下面我们通过一个简单的小例子理解下： 需求：做一个wordsum的程序 1+2+3+4+5.............环境 ： eclipse mar apache-storm-0.9.4链接： 所有需要的jar都已经为大家准备好了放在lib下，大家下回去，使用时千万别忘了bu...
2018-05-10 16:21:18
328
原创 Storm 学习笔记 （二）菜鸟乐园
Storm计算模型Topology DAG有向无环图的实现----对于storm实时计算逻辑的一种封装 由一系列通过 数据流 相互关联的spout，Bolt组成的拓扑结构生命周期：此拓扑只要启动，一直会在集群中运行直到手动kill（区别于MapReduce当中的job，job在计算完成后就会终止）Tuple 元组Storm中最小数据组成单元Stream--数据流从spout中不断传...
2018-05-09 20:11:20
490
原创 Storm 学习笔记 （一）菜鸟乐园
Storm 好像传统的滚梯，来了数据就处理Hadoop好像是电梯，批量处理数据Spark streaming 微批处理介于滚梯和电梯之间Storm 特征 storm 是个实时的，分布式的以及高容错的计算框架1 storm 常驻内存2 storm几乎不经过硬盘，在内存中处理下面通过官方拓扑图理解下看图说话1 水龙头 spout 数据的源头2 水滴 tuple 中文 元组 相当于关...
2018-05-09 16:08:52
1407
原创 安装 zookeeper cluster 详解和zk端口说明
假设 3个nodenode001 node002 node3node001执行：1 xshell 导入安装包 zookeeper-3.4.6.tar.gz2 tar -zxvf zookeeper-3.4.6.tar.gz -C /opt3 vi /etc/profile 末行加入export ZOOKEEPER_HOME=/opt/zookeeper-3.4....
2018-05-08 20:43:45
9006
原创 使用ssh-keygen实现SSH无密码登录
假设 server node001 192.168.189.33 server node002 192.168.189.34实现 node001和node002 互相免密匙要点 要是 cd ~ 后ls -al 发现没有.ssh文件夹只需要在本机ssh node001 即可自动生成.ssh文件夹 要对哪个server免密匙就把自己
2018-05-07 20:38:14
792
原创 Linux系统克隆后网卡信息配置不对无法联网解决方案
vi /etc/udev/rules.d/70-persistent-net.rules 把原来的网卡项删掉，再把新的网卡名字改成eth0，保存执行：start_udevvi /etc/sysconfig/network-scripts.sh/ifcfg-eth0把HWADDR项里的MAC地址照着上面的文件改对，或者直接注释掉重启网络：service network restart或者...
2018-05-06 16:51:45
423
原创 zookeeper 学习笔记
zookeeper 简单说 就是 一句原语 团结和睦一直对外 通过一个hadoop的namenode的HA例子引入，上小图zookeeper 1注册 2监听事件 3 回调函数值得注意的是回调函数是 zkfc自己的，是zkfc当初注册在zk cluster上的 client客户端发出一个请求给其中一个follower，follower没有权限处理，再汇报给leader，leader收...
2018-05-06 14:44:19
130
转载 Zookeeper全解析——Paxos作为灵魂
原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990...
2018-05-05 12:04:57
125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人