- 博客(137)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 [安装fastfds中的nginx执行make命令报错]src/core/ngx_murmurhash.c:37:11: error
在nginx文件夹里执行make命令报错。
2022-07-31 17:58:18
1557
1
原创 vue报错-Firefox会密码框填充(type=‘password‘)
Issue<!--chrome不会密码框填充，firefox会密码填充--><el-form-item label="密码" prop="password"> <el-input type="password" :readonly="readonly" v-model="ruleForm.password" placeholder="请输入密码" autocomplete="off" ></el-input>
2021-09-17 20:34:36
335
原创 数据库的修行之路-MySQL
SQL语句创建数据库CREATE DATABASE database_name;删除数据库DROP DATABASE database_name;创建数据表CREATE TABLE table_name(column_name column_type);auto_increment //自增长primary key //主建foreign key (列名) referen...
2020-08-08 14:06:19
279
原创 前端的修行之路-jQuery
前端的修行之路-jQueryjQueryjQuery概述jQuery优点jQuery的基本使用jQuery的入口函数jQuery的顶级对象$jQuery对象和DOM对象jQuery对象和DOM对象的相互转换jQuery的APIjQuery选择器jQuery基础选择器jQuery层级选择器jQuery筛选选择器jQuery筛选方法jQuery样式操作操作css方法设置类样式方法jQuery效果显示隐...
2020-05-05 11:20:53
423
原创 前端的修行之路-javaScript
前端的修行之路-javaScriptjavaScript输入输出语句变量注意事项命名规范数据类型简单数据类型NumberStringBooleanUndefinedNull获取变量数据类型数据类型的转换字符串的转换数字型的转换布尔型的转换复杂数据类型运算符算数运算符递增和递减运算符比较运算符逻辑运算符赋值运算符运算符优先级函数函数的使用函数的声明函数的调用函数的封装函数参数函数返回值argumen...
2020-04-22 22:44:04
492
原创 前端的修行之路-css
前端学习-csscsscss样式背景样式边框样式文字样式文本样式表格样式颜色样式尺寸样式列表样式盒子样式定位样式分栏样式过渡样式转换样式动画样式渐变样式复合样式flex弹性布局flex-directionflex-wrapflex-flowjustify-contentalign-itemsalign-content作用在flex子项上的css属性css默认和重置样式默认样式重置样式css优先级相...
2020-04-15 21:03:05
339
原创 前端的修行之路-html
前端学习-htmlhtmlmeta标签link标签段落标签文本修饰标签文本修饰标签引用标签图片标签链接标签列表标签表格标签表单标签框架标签代码标签图像映射标签多媒体标签html5语义化标签html5新控件块标签内联标签htmlmeta标签link标签段落标签文本修饰标签文本修饰标签引用标签图片标签链接标签列表标签表格标签表单标签框架标签代码标签图像映射标签多媒体标签html5语义化标签html5新...
2020-04-15 20:56:12
345
原创 大数据-安装CDH
安装CDH一、关闭防火墙（1）关闭防火墙systemctl stop firewalld（2）禁止防火墙开机启动systemctl disable firewalld（3）查看防火墙状态firewall-cmd --state二、配置节点的名称和ip地址映射（1）配置主机名称vi /etc/hostname IP Address HostName ...
2019-11-12 22:30:39
419
原创 大数据-Flume拦截器
Flume拦截器当Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。Flume自带有六种拦截器，分别为时间拦截器、主机拦截器、UUID拦截器、查询拦截器、正则过滤拦截器、正则抽取拦截器。时间拦截器a1.sources=r1a1.sinks=k1a1.channels=c1# ...
2019-09-18 23:23:14
699
原创 JavaSE-String、StringBuilder和StringBuffer源码分析
目录简介String继承关系成员变量及构造方法StringBuilder和StringBuffer继承关系AbstractStringBuilder成员变量及构造方法扩容方法append()方法StringBuilder构造方法append()方法toString()方法StringBuffer成员变量及构造方法append()方...
2019-09-10 23:43:55
399
原创 大数据-Storm
StormStorm：分布式实时计算，可被用于“流处理”之中，实时处理消息并更新数据库。Storm也可被用于连续计算，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。Storm保证每个消息都会得到处理，而且它很快，每秒可以处理数以百万计的消息，还可以使用任意编程语言来开发一、离线计算和流式计算1、离线计算离线计算：批量获取...
2019-08-18 00:59:03
174
原创 大数据-Kafka
KafkaKafka（分布式消息队列），用来缓存数据同一个消费组下多个消费者互相协调消费工作，Kafka会将所有的分区平均地给所有的消费者实例，这样每个消费者都可以分配到数量均等的分区。Kafka的消费组管理协议会动态地维护消费组的成员列表，当一个新消费者加入消费者组，或者有消费者离开消费组，都会触发再平衡操作Kafka的消费者消费消息时，只保证在一个分区内的消息的完全有序性，并不保证同一个...
2019-08-17 00:35:39
309
原创 大数据-Git
Git版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统一、特点 记录文件的所有历史变化 随时可恢复到任何一个历史状态 错误恢复 多功能并行开发二、分类 本地版本控制系统 集中式版本控制系统 分布式版本控制系统三、基本概念repository：存放所有文件及其历史信息checkout：取出或切换到执行版本的文件version：表示一个版...
2019-08-12 23:23:23
325
原创 大数据-HA
HARedis HA（1）复制sentinel.conf文件到conf文件夹下cp sentinel.conf /usr/local/redis/conf/（2）修改sentinel.conf文件sentinel monitor mymaster 192.168.138.130 6379 1（3）启动Redis集群redis-server conf/redis6379.conf...
2019-08-11 00:47:47
348
原创 大数据-Redis
RedisRedis和Memcached的区别（1）持久化Redis可以做缓存，也可以做存储，支持ADF和RDB两种持久化方式；Memcached只能缓存数据（2）数据结构Redis有丰富的数据类型：字符串、链表，Hash、集合，有序集合；Memcached一般就是字符串和对象安装Redis（1）下载并解压Redis压缩包tar -xvzf redis-5.0.5.tar.gz...
2019-08-06 23:11:22
442
原创 大数据-Memcached
MemcachedMemcache是一套开源，高性能的分布式的内存对象缓存系统。Memcache将所有数据存储在内存中，并在内存里维护一个统一的巨大的Hash表，它能存储任意类型的数据，包括图像、视频、文件以及数据库检索的结果等。将数据调用到内存中，然后从内存中读取，从而大大提高读取速度安装Memcached（1）下载和安装libeventgit clone https://github....
2019-08-05 23:17:14
193
原创 大数据-Spark Graphx
Spark GraphxSpark Graphx是Spark的一个模块，主要用于进行以图为核心的计算，还有分布式图计算。Graphx底层基于RDD计算，和RDD共用一种存储形态。在展示形态上，可以用数据集来表示，也可以用图来表示Spark Graphx的抽象（1）顶点RDD[(VertexId,VD)]表示VertexId代表了顶点的ID，是Long类型VD是顶点的属性，可以是任何类型...
2019-08-04 16:10:18
369
原创 大数据-Spark性能优化
Spark性能优化主要针对内存的使用调优Spark性能优化的技术 使用高性能序列化类库 优化数据结构 对于多次使用的RDD进行持久化、checkpoint 持久化级别：MEMORY_ONLY --> MEMORY_ONLY_SER序列化 Java虚拟机垃圾回收调优 Shuffle调优一·、判断Spark内存使用首先要看到内存使用情况，才能进行针对性的优化（1）内存花...
2019-07-31 23:24:12
499
原创 大数据-Spark Streaming
Spark Streaming可实现可扩展、高吞吐量、可容错的实时数据流处理在Spark Streaming中发送字符串，Spark接收到以后，进行计数注意：虚拟机的处理器的内核总数必须大于等于2Spark Streaming启动命令run-example streaming.NetworkWordCount IP Port启动消息服务器命令nc -l port手写Spark ...
2019-07-28 17:47:09
287
原创 大数据-Spark SQL性能优化
Spark SQL性能优化一·、内存中缓存表的数据scala代码spark-shell --master spark://hadoop1:7077 --jars /root/temp/mysql-connector-java-8.0.13.jar --driver-class-path /root/temp/mysql-connector-java-8.0.13.jarval mysql ...
2019-07-27 10:55:29
1131
原创 Spark报错-java.lang.SecurityException: Invalid signature file digest for Manifest main attributesrk
IssueException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.j...
2019-07-27 00:03:20
333
原创 大数据-高级SparkSQL
高级Spark SQLJDBC接连通过JDBC操作关系型数据库，加载到Spark中进行分析和处理启动spark-shell（加载mysql驱动）spark-shell --master spark://hadoop1:7077 --jars /root/temp/mysql-connector-java-8.0.13.jar --driver-class-path /root/temp/m...
2019-07-22 23:26:23
274
原创 大数据-Spark SQL
Spark SQLSpark SQL是Spark的一个模块，处理结构化数据，不能处理非结构化数据特点 容易集成（不需要单独安装） 统一的数据访问方式（结构化数据的类型：JDBC、Json、Hive、Parquer文件都可以做为Spark SQL的数据源） 完全兼容Hive（把Hive中的数据，读取到Spark SQL中运行） 支持标准的数据连接...
2019-07-18 23:28:49
278
原创 大数据-Spark实例
Spark解析日志需求一：求出访问图片最多的前两张tomcat日志110.52.250.126 - - [30/May/2018:17:38:20 +0800] "GET /source/plugin/wsh_wx/img/wsh_zk.css HTTP/1.1" 200 148227.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /sta...
2019-07-16 23:21:48
3237
原创 大数据-Spark的RDD
Spark的RDDRDD：弹性分布式数据集特性 RDD由分区组成，每个分区运行在不同的Worker上，通过这种方式来实现分布式计算（A list of partitions） 在RDD中，提供算子处理每个分区中的数据（A function for computing each split） RDD存在依赖关系：宽依赖和窄依赖（A list of dependencies on othe...
2019-07-14 00:07:37
147
原创 大数据-Spark的任务执行
执行Spark的任务Spark-submit（1）修改conf/slaves配置文件hadoop1（2）启动spark的伪分布式集群./sbin/start-all.sh（3）spark-submit提交任务（以蒙特卡洛求圆周率为例）spark-submit --master spark://hadoop1:7077 --class org.apache.spark.exampl...
2019-07-02 23:37:59
318
原创 大数据-Spark的HA
Spark的HA基于文件目录的HA（1）修改Master服务器的conf/spark-env.sh配置文件export JAVA_HOME=/usr/local/java/jdk1.8.0_11export SPARK_MASTER_HOST=hadoop1export SPARK_MASTER_PORT=7077export SPARK_DAEMON_JAVA_OPTS="-Dspa...
2019-07-02 00:08:03
167
原创 大数据-Spark
SparkApache Spark是一种快速通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和Spark Streaming特点：速度快、支持多种语言、生态系统全、兼容HadoopSpark体系结构...
2019-06-29 23:06:02
184
原创 Scala-Akka System
Akka System架构图主节点功能 维护一个Worker列表 接收心跳信号，更新Worker列表 接收注册信号 回复注册信号从节点功能 发送注册信号 对自身发送心跳信号代码实现WorkerInfo类/** @author Jabin* @version 1.0 2019/06/29* Woker的信息* */class WorkerInfo(val ...
2019-06-29 20:54:02
324
原创 Scala-模式匹配、样本式和泛型
模式匹配//例一var s = 'A's match{ case 'A' => println(100) case 'B' => println(80) case 'C' => println(60) case _ if Character.isDigit(s) => println("无效的字符") case _ => println(0)}//...
2019-06-25 18:55:35
470
原创 Scala-Object对象、Apply方法、高阶函数
ObjectObject对象中的内容都是静态的如果和类名相同，则成为伴生对象Scala中没有static关键字继承App，可以省略main方法Apply方法Apply方法只能在object里创建class Student(var name : String)object Student { def apply(name : String) = { println("调用了a...
2019-06-17 23:32:49
556
原创 Scala-面向对象
面向对象Scala是一个多范式的编程语言（支持多种方式的编程） 封装 继承 多态定义一个学生类class Student { //定义学生的学号 private[this] var studentID : Int = 0; //定义学生的姓名 private[this] var studentName : String = ""; //定义set get方法...
2019-06-16 23:46:42
760
原创 Scala-数组、集合、元组和文件
数组一、一维数组的声明var array = new Array[Int](10)var array : Array[Int] = {}var array = Array()import scala.collection.mutable._var array = ArrayBuffer[Int]()二、多维数组的声明var array = Array.ofDim[Int](3,4...
2019-06-16 17:44:35
271
原创 Scala-循环
循环var list = List("freedom","destiny","fate")# 循环方法一forfor{ s <- list}println(s)# 循环方法二forfor{ s <- list if(s.length > 3)}println(s)# 循环方法三forfor( s <- list if s.length <...
2019-06-12 23:32:37
775
原创 Scala-数据类型与自定义函数
数据类型 数据类型 描述 Byte 8位有符号整数 Short 16位有符号整数 Int 32位有符号整数 Long 64位有符号整数 Float 32位单精度浮点数 Double 64位单精度浮点数 Char 16位无符号字符 String 字符序列 ...
2019-06-12 21:58:50
530
原创 Scala-安装和配置Scala
ScalaScala是一个多范式的编程语言（支持多种方式的编程） 使用面向对象编程：封装、继承、多态<.li> 使用函数式编程：最大的特定（优点：代码非常简洁；缺点：可读性太差）安装Scala（1）官网https://www.scala-lang.org/download/2.12.8.html下载Scala（2）安装Scala（3）配置Scala的环境变量（...
2019-06-11 22:52:47
251
原创 大数据-Logstash
logstash安装logstash（1）网站https://www.elastic.co/cn/downloads/past-releases/logstash-7-1-0下载logstash（2）解压logstash-7.1.0.tar.gz压缩包tar -xvzf logstash-7.1.0.tar.gz（3）启动logstashlogstash -e 'input{stdi...
2019-06-09 23:21:33
244
原创 大数据-Elasticsearch的API操作
Elasticsearch的API操作（1）连接Elasticsearch客户端public void getClient() throws UnknownHostException { //设置连接的集群名称 Settings setting = Settings.builder().put("cluster.name", CLUSTER_NAME).build(); ...
2019-06-08 23:26:19
260
空空如也
如何访问路径下载文件？
2021-07-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人