自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿生

天心有晴

  • 博客(4)
  • 资源 (2)
  • 收藏
  • 关注

原创 Elasticsearch查询的时候setSize不起作用,而且匹配的数据还不正确。

最近使用ES做项目,使用的过程中发现ES返回的结果是错误的,这个问题肯定不是ES本身的问题,他作为一个成熟的框架是不可能犯这些小错误的,于是我就想问题是出在了我自己身上,但是代码中根本不报错。 后来发现原因出在了setSource()上面 它和setQuery的顺序决定了结果返回的正确性,我猜想这个SearchBuilder是使用了建造者模式,建造的顺序不能混乱,因此写代码的时候一定要注意...

2018-08-23 19:14:56 2795

原创 illegal cyclic reference involving object InterfaceAudience

最近开发Spark应用程序,用到了scala反射,但是却一直报错循环引用 InterfaceAudience,感觉很奇怪,后来排查错因才发现,原来FileSystem类不可以作为反射的方法的参数,一旦作为参数就会报错循环引用。具体测试代码如下所示。package myreflectimport scala.reflect.runtime.universe._import org.apac...

2018-08-14 15:28:18 3767

原创 Scala2.11反射

scala的反射scala的反射分为 运行时反射和编译时反射。编译时反射在scala语言中使用宏来替代,它是开发程序转化器和生成器的神兵利器,而运行时反射通常用来作为调整语言语义和组件之间的绑定。具体的情况请参考官方链接 - 点击进入这是官网中的例子和对scala反射的一些解释。顺便提醒一下最好不要和java反射混用一面造成不可控制的错误。package myreflecti...

2018-08-14 15:10:30 1719

原创 Spark中的aggregate算子

Spark的aggregate算子aggragete算子作为spark的算子之一,虽然没有map,reduce算子使用的多但是也是一个不容忽略的算子,但是关于这个算子的用法很多解释都含糊不清 ,下面就记载下来以备以后观看。aggregate在scala语言中本来就存在,它的输入值和返回值的类型可以不一致,而reduce函数输入和输出数据类型 必须一致。首先他需要接受一个输入的初始值,然...

2018-08-09 19:14:42 3426

winutils.zip

Failed to locate the winutils binary in the hadoop binary path 如果没有winutil.exe这个文件在运行hadoop程序的时候肯定报错,每次换开发环境都要找一下这个winutil文件,这次打包一下记录下来,从hadoop2.6到hadoop3.0,所有的winutils都在这了

2019-06-12

hadoop,spark,hbase,zookeeper,kafka配置文件

hadoop,spark,hbase,zookeeper,kafka配置文件。 例如: &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt; &lt;!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file. --&gt; &lt;!-- Put site-specific property overrides in this file. --&gt; <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/bigData/bigdata/hadoop/tmp</value> </property> </configuration>

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除