- 博客(55)
- 收藏
- 关注
RSS订阅原创 k8s connection to the server 192.168.38.100:6443 was refused - did you specify the right host or por
正在上传…重新上传取消
2022-05-18 02:32:36
274
原创 解决centos7 根目录扩容vgdisplay数据卷为空不能扩容问题
现状：centos 7，/对应分区为xfs格式，且无lvm。只有一个分区，大小40GB，而整个磁盘大小200GB。目标：将剩余磁盘空间都分配给当前分区。基本步骤为先调整分区大小，再调整mount的/的大小。查看当前/分区文件系统为xfs，大小40GB# df -ThFilesystem Type Size Used Avail Use% Mounted ondevtmpfs devtmpfs 489M 0 489M 0% /devtmp
2022-05-17 07:29:21
2397
原创 解决hive的hiverserver2 连接报错Caused by: java.lang.OutOfMemoryError: Java heap space
出现这个问题的主要原因是hive在jvm默认的堆内存为256m这远远不够我们用，我们需要改hive/conf/hive-env.sh文件设置一个较大的jvm堆内存。具体解决方法如下：1.查看hive默认堆内存大小 可见为256m2.修改hive/conf/hive-env.sh文件 并设置合适的堆内存大小，我这里设置的是2048...
2022-02-28 06:05:33
2441
原创 IDEA设置Scala变量自动带返回类型
设置快捷键:Ctrl+Alt+S位置:Settings --> Editor --> Code Style --> Scala --> Type Annotations效果如下:成功解决scala 自动返回参数不带返回值类型问题
2022-02-15 05:52:39
524
原创 Mac vmware fusion 解决安装vmware tools后/mnt/hgfs找不到挂载共享文件
1.首先查看设置的共享文件夹：vmware-hgfsclientshared_docs2.如果只使用一次共享文件夹：sudo mount -t fuse.vmhgfs-fuse .host:/ /mnt/hgfs -o allow_other3.第二步要使用每次都要挂载，那么终极杀器：vi /etc/fstab: 在最后添加一行： .host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other 0 0亲测有效！...
2022-01-09 07:45:04
1211
原创 Jaspersoft TIB_js-studiocomm_6.18.1_macosx_x86_64下载
网上下载挺麻烦的，还要注册。送给有需要的人链接: https://pan.baidu.com/s/1Vi3RGG3d7AFY2sgYRUEplA 提取码: dmuf
2022-01-09 04:14:30
815
原创 解决sap gui 在高分辨率(dpi)3k,4k屏幕下不兼容，字体模糊问题
方法一：（此方式能改善但还是体验极差）点击SAP - 属性-兼容性-更改高DPI 设置勾选高dpi替代方法二：原文方法：下载Resource TunerResource Tuner 2.20 - Resource Editor for EXE and DLL Resource Files. Edit Icon Resources, Replace Strings, Change Bitmaps.http://www.restuner.com点击试用下载（有30天试用）..
2021-09-16 02:23:01
4008
1
原创 MBR分区和GPT的区别已经如何解决安装系统时出现uefi和分区表mbr不对应导致系统安装不了问题
win8/win10系统均添加快速启动功能，预装的win8/win10电脑默认都是UEFI引导和GPT硬盘，传统的引导方式为Legacy引导和MBR硬盘，UEFI必须跟GPT对应，同理Legacy必须跟MBR对应。如果BIOS开启UEFI，而硬盘分区表格式为MBR则无法安装；BIOS关闭UEFI而硬盘分区表格式为GPT也是无法安装Windows。1、在当前安装界面按住Shift+F10调出命令提...
2019-10-26 16:27:29
1718
原创 全连接自制数据集实现猫狗识别
网络import torch.nn as nnclass weNet(nn.Module): def __init__(self): super().__init__() self.layers = nn.Sequential( nn.Linear(100*100*3,512), nn.ReLU(),...
2019-10-08 22:41:22
491
原创 windows python利用pip方式三行安装opencv
1.安装依赖pip install --upgradetoolspip install numpy Matplotlib2.安装opencv-python(网络一定要通畅)pip install opencv-python
2019-09-28 18:29:39
179
原创 logstash将kafka的数据采集到elasticSearch时出现乱码
Elasticsearch支持UTF-16BE ，改成这个编码即可解决乱码问题
2019-06-18 22:50:01
886
1
原创 spark-sql 中不能使用hive创建表，报/user/hive/warehouse is not a directory or unable to create one错误
spark-sql 中不能使用hive创建表，报/user/hive/warehouse is not a directory or unable to create one 错误2.方案 把$HIVE_HOME/conf/hive-site.xml复制到$SPARK_HOME/conf/下 在$SPARK_HOME/conf/hive-site.xml修改hive.met...
2019-06-13 21:40:43
803
原创 解决spark运行时控制台打印冗杂的INFO（屏蔽掉无用的INFO）
今天在spark和hive整合完后启动SparkSql的时候控制台打印出了好多冗余的信息看起来特别不爽就一个 show databases； 却打印出来这么多信息，让我着实不大容易找到我想要的信息呀解决方案：1. 进入$SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties修改成功后打印 show...
2019-06-13 20:27:53
4149
5
原创 Scala的泛型的使用，泛型和隐式转换的使用（用传统的Compare用法与Scala隐式转换做对比）
首先 我们来看下Scala中常用的几种泛型[T <: UpperBound] （在这边“：”后面指定的Scala接口的结构）[T >: LowerBound][T <% ViewBound] 视图界定（用的比较多）[T : ContextBound] 上下文界定（用的比较多）[+T][-T]1.传统的Java的Compare的用法clas...
2019-06-06 21:16:17
287
原创 用Akka实现spark底层的通信框架
基本思路Master:package com.ycit.akka.rpcimport akka.actor.{Actor,ActorSystem, Props}import com.typesafe.config.ConfigFactoryimport scala.concurrent.duration._import scala.collection.mutable/*...
2019-06-05 15:48:01
388
原创 用scala的Actor模仿MapReduce写一个分布式wordcount
package com.ycit.scala.demo.com.ycit.scala.day_02.com.ycit.scala.actorimport java.io.Fileimport scala.actors.{Actor, Future}import scala.collection.mutableimport scala.io.Sourcecase class Su...
2019-06-03 20:11:58
220
原创 分析设计单例模式的几种方法以及单例模式的优点
1.为什么要用单例模式？（1）对于频繁使用的对象，可以省略对象创建时所消耗的时间。尤其是对重量级系统而言是一个非常可观的系统开销。（2）由于new对象的次数变小，系统的内粗消耗也会降低，可以减轻gc的压力，缩短gc停顿时间。2.设计单例模式的几种方法（1）简单的单例模式public class Singleton { private Singleton() { Sy...
2019-05-24 13:00:47
151
原创 kafka0.90 版本的server.properties文件
#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，producer或consumer将在此端口建立连接port=9092#处理网络请求的线程数量num.network.threads=3#用来处理磁盘IO的线程数量num.io.threads=8#发送套接字的缓冲区大小socket.send.buffer.bytes=102400#接受套接字的...
2019-05-21 09:38:48
152
原创 Storm实现wordcount
WordCountToplogMain：package com.ycit.storm;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.generated.AlreadyAliveException;import backtype.storm.generate...
2019-05-17 09:07:47
283
原创 Hbase运行mapreduce程序实现单词统计
package com.ycit.hbase.test;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfigur...
2019-05-12 20:52:08
1291
原创 hbase原理
写流程数据Flush过程数据合并过程读流程Hmaster 的职责1、管理用户对Table的增、删、改、查操作；client向hregionserver发送写请求。 hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。 hregionserver将数据写到内存（memstore） 反馈client写成功。 当mem...
2019-05-12 20:28:32
163
原创 Hbase中常见的几种过滤器的使用方法
过滤器的种类：列植过滤器—SingleColumnValueFilter过滤列植的相等、不等、范围等列名前缀过滤器—ColumnPrefixFilter过滤指定前缀的列名多个列名前缀过滤器—MultipleColumnPrefixFilter过滤多个指定前缀的列名rowKey过滤器—RowFilter通过正则，过滤r...
2019-05-12 19:58:33
2840
原创 java API操作Hbase
package com.ycit.hbase.test;import java.io.IOException;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apach...
2019-05-12 18:15:40
147
原创 hbase启动后HMaster进程自动关闭和启动报错zookeeper.RecoverableZooKeeper: Node
进程自动关闭问题解决方案1、情况描述如题所示，hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行；原因是，hdfs的默认端口号是8020，而我core-site.xml中将hdfs的端口修改为了9000。core-site.xml<property> <name>fs.defaultFS&l...
2019-05-12 10:00:06
1037
原创 hive中的内置函数parse_url_tuple() 和内置函数 lateral view的用法
hive中的内置函数parse_url_tuple() 和内置函数 lateral view1.parse_url ()解析URL字符串，partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]。【host,path,query,ref,protocol,file,authority,userinfo】这...
2019-05-10 13:01:39
482
原创 Sqoop: ERROR manager.SqlManager: Error reading from database: java.sql.SQLException:
后面加上驱动就ok
2019-04-28 19:06:59
803
原创 解决Azkaban启动时出现 The datetime zone id 'Asia/Shanghai ' is not recognised
排查发现是Azkaban的配置文件azkaban-web-2.5.0/conf/azkaban.properties中的时区配置后面多了一个空格导致注意：Azkaban的配置文件中不能有空格启动成功的标志:...
2019-04-27 23:01:06
1649
原创 分治算法（循环赛事问题，L型棋盘问题）
循环赛事package com.ycit.sportsschedule;public class SportsSchedule { public void sportsSchedule(int n,int[][] tables){ if(n==1){ tables[0][0]=1; }else{ //填充左上角 int m = n/2; sportsSc...
2019-04-27 18:06:59
421
原创 java实现贪心算法（背包问题）
package com.ycit.greedypackage;import java.util.Arrays;public class GreedyPackage { private int MAX_WEIGHT=150; private int [] weights = new int[]{35,30,60,50,40,10,24}; private int [] values ...
2019-04-27 18:04:51
2739
原创 Hive或者Mysql 输出累计报表的Sql实现
解决sql实现累计报表问题。需求有如下访客访问次数统计表 t_access_times 访客 月份 访问次数 A 2015-01 5 A 2015-01 15 B 20...
2019-04-23 19:21:41
311
原创 java利用穷举的思想实现 泊松分酒算法
泊松分酒算法及实现思路package com.ycit.sharewine;/** * @author 江鹏飞 * 泊松分酒 * 1-->2-->3--1 * 如果第二个容器为空 ，将第一个容器的酒倒入第二个容器，再将第二个容器的酒倒入第三个容器，若第三个容器酒已倒满则倒入第一个容器 */public class ShareWine { //给定初始的容器大小...
2019-04-21 15:49:51
304
原创 java实现递归的几种经典案例（汉诺塔，求阶乘，最大公约数）
1.汉诺塔package com.ycit.recursion;/** * @author 江鹏飞 * 递归实现汉诺塔算法 */public class HanNoTa { int i = 1; public void hanNoTa(int n,char form,char dependOn,char to){ if(n==1){ move(1,form,to)...
2019-04-21 15:40:12
217
原创 java二分法查找（递归，非递归实现）
package com.ycit.search;import com.ycit.sortSelect.BasicSort;/** * @author 江鹏飞 * 二分查找 递归方式与非递归方式 */public class BinarySearch { //递归方式 public void binarySearch(int a[],int val,int low,int h...
2019-04-19 18:53:24
2017
原创 java实现基数排序
package com.ycit.sortSelect;import java.util.ArrayList;import java.util.List;/** * @author 江鹏飞 * 基数排序 * 思路: 1.找到数组中的最大数 * 2.求最大数的位数 * 3.创建一个二维数组（一个数组嵌套十个数组） * 4.依次把 个位，十位，百位，数 放入相应的数...
2019-04-19 18:52:25
312
原创 java实现归并排序,快速排序
快速排序package com.ycit.sortSelect;/** * @author 江鹏飞 * 快速排序 * [11,4,3,6,5,8,7,12,9] * low high * 思路: * 1.找到一个基准元素进行比较 分别从后往前 从前往后 找到 中间的值middle 此时middle 的位置就是基准元素的位置 * 并且基准元素左边的所有...
2019-04-18 21:40:14
438
原创 java实现排序（二分法，选择排序，直接插入排序，冒泡排序，希尔排序）
二分法package com.ycit.sortSelect;/** * @author Administrator * 二分法排序 */public class BinaryInsertSort { public void sort(int a[]){ for(int i = 0;i<a.length;i++){ int left = 0; //left为有序数组...
2019-04-14 15:49:54
412
原创 用java api（用流的方式）对HDFS进行增删改查
import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import or...
2019-04-11 21:48:34
235
原创 浅谈自己对HDFS的理解
设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，...
2019-04-11 20:29:35
1939
原创 java中的线程池
线程池的5中创建方式：Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务是顺序执行，代码： Executors.newSingleThreadExecutor()Cached Thread Pool : 线程池里有很多线程需要同时执行，老的可用线程将被新的任务触发重新执行，如果线程超过60秒内没执行，那么将被终止并从池中删除，代码：Ex...
2019-04-02 23:49:39
151
原创 synchronized同步关键字和lock的使用区别及应用场景
加同步格式： synchronized( 需要一个任意的对象（锁） ){ 代码块中放操作共享数据的代码。 }当锁对象相同时 两个线程会争抢同一把锁 如果不是一把锁则各自执行自己的线程synchronized的缺陷synchronized是java中...
2019-04-02 22:52:05
4464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人