- 博客(16)
- 收藏
- 关注
RSS订阅原创 Java四种引用，强、软、弱、虚
前言 在JDK1.2以前的版本中，当一个对象不被任何变量引用，那么程序就无法再使用这个对象。 在JDK1.2只有，Java对引用的概念进行了扩充，将引用分为强引用（Strong Reference）、软引用（Soft Reference）、弱引用（Weak Reference）、虚引用（Phantom Reference）四种，这四种引用强度依次逐渐减弱。强引用 强引用就是指在代码中普遍存在的，类似“Object obj = new Object()”这样的引用，只要引用还存在，垃圾收集器永
2020-12-30 22:03:38
136
原创 finalize方法
finalize()是Object中的方法，当垃圾回收器将要回收对象所占内存时，该方法被调用，即当一个对象被虚拟机宣告死亡时会先调用它的finalize()方法，让此对象临终前交代点遗言，当然对象也可以趁机复活。死亡判定引用计数器法 给对象添加一个引用计数器，每当有一个地方引用它，计数器就加1，当引用失效时，计数器就减1，任何时刻当计数器为0的时候，这个对象就不能再被使用了。优点：实现简单效率高。缺点：主流JVM不使用这个算法，因为无法解决对象循环引用的问题。可达性分析算法
2020-12-26 12:30:16
5236
原创 多线程（2）：synchronized关键字
多线程操作相同资源的时候，会出现线程安全的问题，导致结果与预期的不一致。 如下例子，设计四个线程，其中两个对线程对变量加1操作，两个线程对变量减1操作。理想状态是，线程顺序执行，相同次数的加减操作，最后变量的值不变。1.线程不安全的操作public class FourThreadAddMinus { private int i = 0; public st...
2018-11-21 19:28:39
195
原创 多线程（1）：继承Thread类和实现Runnable接口
多线程的两种实现方法：1.继承Thread类 继承Thread类，重写run()方法。创建多线程的时候，需要创建对象实例，然后调用start()方法。类对象的属性属于线程私有，线程之间互不影响。public class ClassExtendThread { public static void main(String[] args){ Thread ...
2018-11-20 11:01:45
557
原创 Hbase设计原理及架构简介
0、传统数据库弊端 尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多开发通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加的，安装和维护都和复杂。同时，也会影响RDBMS的特定功能，例如联接、复杂的查询、触发器、视图和外键约束这些操作在大型的RDBMS上的代价相当高，甚...
2018-10-26 17:51:39
633
原创 java中try、catch、finally执行顺序
在面试的时候，经常会问到关于try、catch、finally相关的问题。总结一下。case 1 try{ } catch{ } finally{ } return; public int condition1(){ try { System.out.println(1); } catch (Exception e)...
2018-09-03 14:03:59
321
原创 AttributeError: module ‘pandas‘ has no attribute ‘read_excel‘
AttributeError: module 'pandas' has no attribute 'read_excel'
2018-04-18 13:19:39
25470
14
原创 azkaban upload 报错：Error initializing project id: 4 version: 2
出错信息：Installation Failed.Error initializing project id: 4 version: 2服务器日志：Azkaban的配置的mysql默认的字符编码是Latin-1，上传的文件，描述中有中文的话，就会报错。修改Azkaban库的字符编码即可。...
2018-04-10 17:47:53
808
原创 Azkaban-3.43.0 安装部署
1.遇到的问题在数据分析系统，有大量的shell，hive，sqoop脚本。之间存在一定的依赖。比如A脚本，将日志数据导入到hdfs中。B脚本对日志数据进行分析。A执行完成以后，B才开始执行。如果需要A还未执行完，B就开会执行，分析结果必然不对。所以需要一个任务调度系统。2.Azkaban和oozieAzkaban，配置，使用简单，名字也好听啊，当然用这个。百度都是资料，可以自查。3.下载Azka...
2018-04-10 10:40:35
590
原创 搭建Hbase1.3.0
0.官网下载hbase1.修改环境变量 HBASE_HOME=/data/hbase export PATH= .:$PATH:$HBASE_HOME/bin:2.修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_121 export HBASE_MANAGES_ZK=false //HBase是否管理它自己的ZooKeeper的实例。3.修...
2018-02-08 17:08:00
373
原创 sqoop使用教程
1.sqoop导数据0.基础使用sqoop list-databases--connect "jdbc:mysql://10.1.6.21:3306/"--username root --password 123456sqoop list-tables--connect "jdbc:mysql://10.1.6.21:3306/platform_log"--username root --pass...
2018-02-07 20:00:34
3319
原创 sqoop密码访问
1.显示指定账号密码2.文件模式在当前用户下新建.password文件，并保存数据库密码$ echo -n "password" > .password 将.password文件上传至当HDFS用户目录下$ hdfs dfs -put .password /user/hadoop/给.password文件授予400权限$ hdfs dfs -c
2018-02-07 19:56:47
269
原创 sqoop报错：java.io.IOException: SQLException in nextKeyValu
sqoop从mysql导数据到hive的时候，报错：java.io.IOException: SQLException in nextKeyValueat org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:266)at org.apache.hadoop.mapred.MapTa...
2018-02-07 19:55:35
9949
原创 sqoop报错：ERROR tool.ImportTool: Error during import: Import job failed
可能是文件权限修改hive数据仓库权限hadoop fs -chmod 777 /data/hivehadoop fs -chmod 777 /data/hive/warehouse
2018-02-07 19:51:40
8034
2
原创 sqoop安装
0.下载sqoop 使用1.x版本1.拷贝MySQL的jdbc驱动包mysql-connector-Java-5.1.31-bin.jar到sqoop/lib目录下。2.配置环境变量#sqoopexport SQOOP_HOME=/data/sqoopexport PATH=$PATH:$SQOOP_HOME/bin3.复制s
2018-02-07 19:46:49
154
原创 Hadoop-2.7.3 HA高可用搭建
0.zookeeper集群的搭略，自行百度1.hadoop2.7.3下载http://hadoop.apache.org/releases.html2.tar 解压，mv到 /data，并将文件夹改为hadoop（也可以不改，看心情）。3.vi /etc/profile 添加hadoop路径export HADOOP_HOME=/data/hadoopexport PA
2017-04-26 19:30:22
804
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人