Julian Win-CSDN博客

原创解决 error C0204: version directive must be first statement and may not be repeated

着色器代码错误提示QOpenGLShader::compile(Vertex): 0(2) : error C0204: version directive must be first statement and may not be repeated0(3) : error C0000: syntax error, unexpected '(', expecting "::" at token "("0(6) : warning C1503: undefined variable "aPo

2021-05-12 10:20:50 1235 2

原创 Qt 解决error: unknown type name ‘signals‘

解决方案使用signals/slots的类必须要继承QObject或其子类，并且在其类声明中要加上Q_OBJECT宏才可以。注意如果书写的类还需要继承其他非QObject类时，需要多继承QObject，并且继承时需要把QObject放在第一个位置，如下如所示...

2021-05-08 22:05:52 3719

原创 opengl使用GL_QUAD_STRIP画四边形

使用GL_QUAD_STRIP时顶点从起点开始以N形顺序连接各点： glPolygonMode(GL_FRONT_AND_BACK ,GL_LINE); glBegin(GL_QUAD_STRIP); glVertex3f(0, 0, 0); // v1 glVertex3f(0, 1, 0); // v2 glVertex3f(2, 0, 0); // v3 glVertex3f(2, 1, 0); // v4 glVertex.

2020-12-25 20:08:11 2827

原创 acos(-1)或者acos(1)结果为nan

acos(-1)或者acos(1)结果为nan原因分析出现该错误的原因可能是精度问题，acos(value)中value值可能非常接近-1或者1，但是超出了[-1, 1]，故得到nan的结果.解决方案

2020-12-25 15:50:59 3768 2

原创 Failed to read artifact descriptor for xx.jar错误解决

在使用IDEA开发过程中，pom文件总是报红提示Failed to read artifact descriptor for xx.jar，如下图进入Maven本地仓库打开发现全是LASTUPDATED文件，用记事本打开发现是网络拒绝访问的问题，通过查找资料发现这种情况通过手动下载的方式可以解决，步骤如下：1、通过cmd进入项目根目录2、在cmd中输入mvn compile...

2019-02-20 14:43:30 2971

原创 Spark基础知识总结

关于Spark Spark是一个快速且通用的集群计算平台，Spark计算速度快，主要应用于时效性要求比较高的场景Spark特点主要基于内存 Spark在计算的过程中会优先将数据放在内存中，如果内存容量不足的话，Spark也会将数据放在磁盘上或者部分数据放在磁盘上进行计算迭代式计算 Spark在处理完一个阶段之后，处理的结果可以继...

2018-08-29 11:53:04 583

原创理解RDD的reduceByKey与groupByKey

数据准备val words = Array("a","a","b","c","c")val conf = new SparkConf().setAppName("word-count").setMaster("local");val sc = new SparkContext(conf)val rdd = sc.parallelize(words)red

2018-08-26 18:44:28 2225

原创 Scala知识总结

Scala数据类型 Any是所有类的父类 AnyVal是所有基本类型的父类，AnyRef是所有Java里引用类型和所有自定义Scala类的父类 Null是所有引用类型的子类，Nothing是所有Scala类的子类数值类型:byte, short, int, long, double, float 布尔类型:true, flase 字符(串)类型...

2018-08-25 22:16:01 415

原创归并排序算法

算法思想该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。假设初始序列含有n个记录，则可看成是n个有序的子序列，每个子序列的长度为1，然后两两合并，得到⌈n/2⌉个长度为2或1的有序子序列；在两两合并，……，如此重复，知道得到一个长度为n的有序序列为...

2018-08-23 20:42:53 3311

原创快速排序算法

快速排序的基本思想通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。图解代码(Java版)public void quickSort(int[] arr, int start, int end) { ...

2018-08-23 11:47:02 148

原创 RDD知识总结

创建RDD的两种方式？ 1.并行化驱动程序中的现有集合(调用SparkContext的parallelize()方法) 2.引用外部存储系统中的数据集(调用SparkContext的testFile()等方法)Spark如何确保宕机后快速恢复？ Spark以RDD作为操作单元，RDD只能从持久存储或通过Transformations操作产生，相比于分布式共享内存（DS...

2018-08-21 10:42:08 365

原创问题描述：hbase shell启动失败

问题描述[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactor...

2018-08-18 20:41:49 1600 1

原创解决org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode

问题描述每次一运行MapReduce作业向HBase里面写数据，主节点的HMaster和HRegioServer进程就会挂掉。查看HBase日志发现，WARN [PEWorker-1] coordination.SplitLogManagerCoordination: Failed to check remaining tasksorg.apache.zookeeper.KeeperE...

2018-08-18 20:38:55 20877

原创 Shell脚本(remove-sufixes.sh)—去掉指定文件夹下所有文件的文件名后缀

#!/bin/shpath=/usr/soft_r/nginx/logs/flumefiles=$(ls $path)for filename in $filesdo mv /usr/soft_r/nginx/logs/flume/$filename /usr/soft_r/nginx/logs/flume/${filename%.*}done

2018-08-16 21:27:42 2532

原创解决:Yarn不能启动，没有ResourceManager

用start-yarn.sh命令之后，刚开始有ResourceManager进程，一会儿该进程就被关闭了。查看日志发现：INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in s...

2018-08-15 11:05:16 10744 1

原创 hbase集群错误：WARN [Thread-15] hdfs.DFSClient: DataStreamer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no n...

2018-08-10 15:20:29 2995

原创配置集群时间同步

时间同步需要安装网络时间协议ntp(Network Time Protocol)1、查看系统中是否已安装ntp rpm -qa|grep ntp2、安装ntp: yum -y install ntp3、修改/etc/ntp.conf 按下图所示删除和添加注释最后加上下图所示语句 3、修改/etc/sysconfig/ntpd 向里面添加SYNC_HWCLOCK=y...

2018-08-10 13:18:50 945

原创 shell脚本——xsync

xsync脚本基于rsync工具，rsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点，它只是拷贝文件不同的部分，因而减少了网络负担。 rsync -rvl $pdir/$fname $user@hadoop$host:$pdir 常用参数： -r, –recursive 对子目录以递归模式处理 -R, –relativ...

2018-08-05 18:09:08 17476

原创 shell脚本——xcall

该脚本用于在所有主机上同时执行相同的命令。进入/usr/local/bin目录下，输入vim xcall，向里面添加：#!/bin/shpcount=$#if((pcount==0));then echo no args...; exit;fiecho ==================master==================$@f...

2018-08-05 17:49:39 6519

原创解决DataNode不能全部启动问题 org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block

问题描述： FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.235.129:8020. Exiting. jav...

2018-08-05 16:54:45 5630 6

原创 Nginx的安装及配置

本文档是以Windows端服务器为代理服务器，Linux端为真正服务器。当用户在Windows端请求服务器内容时，由代理服务器按照服务器配置权重随机转接到真正服务器。首先，在Nginx下载页面下载Windows版和Linux版的Nginx，版本最好保持一致。Windows端安装及配置 1、解压zip文件。解压路径就是nginx安装路径，如D:\nginx-1.6.3 ...

2018-07-30 23:36:54 277

转载 Nginx: error while loading shared libraries: libpcre.so.1解决

Nginx: error while loading shared libraries: libpcre.so.1解决 Shell代码  [ew69@localhost conf]# /usr/local/nginx/sbin/nginx  /usr/local/nginx/sbin/nginx: error while loading ...

2018-07-30 13:42:51 3676

转载 CSDN MarkDown Editor

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-07-30 13:41:14 169

原创 Scrapy爬虫开发步骤总结

准备阶段注：项目需要的所有指令均在cmd终端窗口或者shell终端键入。一、输入指令scrapy startproject project_name创建scrapy项目此命令会在当前路径下创建一个指定的项目，并在项目文件目录中生成scrapy爬虫需要的各个py文件，包括items.py、piplines.py、settings.py等。二、输入指令scrapy genspider ...

2018-07-19 14:56:49 646

原创解决Sublime Text3使用Package Control 报错There Are No Packages Available For Installation问题

1、下载Package Control，点击打开下载链接；之后解压下载的文件，复制其中所有的文件。2、在Sublime Text3中依次选择：首选项(Preferences) >> 浏览插件(Browse Packages)。在弹出的窗口中打开Package Control，然后将步骤1中复制的所有文件粘贴到当前文件目录中，需要替换掉原有文件。3、重新启动Sublime，然后打开命令面...

2018-07-15 16:03:18 825

原创解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

问题描述：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(N...

2018-06-17 15:24:37 1898 1

原创解决Input path does not exist：file://

任务提交指令:spark-submit --class orderinversioninspark.RelativeFrequency ~/soft/temp/bigdataAnalysis.jar 2 /input/inputfile.txt /outputfi异常部分信息如下：Exception in thread "main" org.apache.hadoop.mapred.Invali...

2018-06-16 18:29:55 31765 1

原创 Shell基本语法总结

一、变量1、变量名前没有变量类型的限制2、‘=’之前不能有空格3、变量的使用是在变量名之前加上$二、字符串1、字符串定义可以使用单引号、双引号或者不使用引号。使用单引号不能进行转义,单引号内的所有字符原样输出; 双引号内可以有变量,双引号内可以进行转义, 如"$var is a variable/n"(使用echo -e 让字符串中的转义字符生效)2、

2018-01-10 13:58:40 231 1

原创 Linux常用基本指令总结

1、chmod(选项)(参数)说明：chmod命令用来变更文件或目录的权限。在UNIX系统家族里，文件或目录权限的控制分别以读取、写入、执行3种一般权限来区分，另有3种特殊权限可供运用。用户可以使用chmod指令去变更文件与目录的权限，设置方式采用文字或数字代号皆可。符号连接的权限无法变更，如果用户对符号连接修改权限，其改变会作用在被连接的原始文件。选项：+：开启权限范

2018-01-10 11:20:29 210

perfer258的博客