文章标题

原创 2017年11月15日 11:55:36

SparkStreaming,textFileStream读取HDFS文件,读取不到的问题

原因很简单,textFileStream()这个方法只能读取到新放入的文件,意思是要先启动程序,然后把文件put进去.
以下是官方的api说明
Create an input stream that monitors a Hadoop-compatible filesystem for new files and reads them as text files (using key as LongWritable, value as Text and input format as TextInputFormat). Files must be written to the monitored directory by “moving” them from another location within the same file system. File names starting with . are ignored.

public class HDFSWordCount {
public static void main(String[] args) throws InterruptedException {
    SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("WordCount");
    JavaStreamingContext javaStreamingContext = new JavaStreamingContext(conf, Durations.seconds(1));
    JavaDStream<String> lines = javaStreamingContext.textFileStream("hdfs://bigdata02.nebuinfo.com:8020/sparktest/data/wordcount");
    lines.flatMap(x-> Arrays.asList(x.split(" ")).iterator())
            .mapToPair(x->new Tuple2<String, Integer>(x,1))
            .reduceByKey((x,y)->x+y).print();
    //必须调用start方法才会开始
    javaStreamingContext.start();
    javaStreamingContext.awaitTermination();
    javaStreamingContext.close();
    }
}

网上说可以用fileStream,但是我得到的结果不正确,哪位大神知道麻烦说一下

JavaPairInputDStream<LongWritable, Text> longWritableTextJavaPairInputDStream = javaStreamingContext.fileStream("hdfs://bigdata02.nebuinfo" +
                    ".com:8020/sparktest/data/wordcount",
            LongWritable.class, Text.class, TextInputFormat.class,
            new Function<Path, Boolean>() {
                @Override
                public Boolean call(Path v1) throws Exception {
                    return true;
                }
            }, false);

    longWritableTextJavaPairInputDStream.print();

wordpress 通过the_title()和get_the_title函数获取文章标题

the_title() 输出或返回当前文章标题。此标签用在主循环里。如果此文章是受密码保护的或者是私有的, 就会在文章标题前标记上"Protected:"或者"Private:"字样。 用法:...
  • xuplus
  • xuplus
  • 2014年08月25日 09:31
  • 3752

修改DEDECMS文章标题长度,解决DEDECMS文章标题显示不全

在用dede调用列表标题出来的时候,会发现标题文字字数显示不完全,那是因为dede默认标题出来长度是30个字符,为了让标题显示完整,要做以下修改!1、进入后台–系统–系统设置–系统基本参数–其他选项–...
  • yxwmzouzou
  • yxwmzouzou
  • 2015年04月29日 11:25
  • 10411

文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题文章标题

文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正    文文章正文文章正文文章正文...
  • coolhomess
  • coolhomess
  • 2008年11月03日 10:14
  • 56

织梦列表页调用文章标题和摘要

【列表页调用文章标题和摘要】 显示效果: 代码如下: {dede: list titlelen='30' infolen='150'orderby='pubdate' limit=”...
  • cctv1937
  • cctv1937
  • 2015年07月01日 17:33
  • 3891

为你的wordpress文章标题添加图标

看到CSDN的文章标题前用“原/转”两个小图标来表示文件类型很简洁,于是也想到为自己的wordpress博客增加类似功能。     我想实现在我写文章选择分类目录时,若属于“原创”分类,则显示“...
  • linxiaojia
  • linxiaojia
  • 2014年11月22日 00:38
  • 872

正则表达式小试牛刀--匹配我的博文标题

正则表达式小试牛刀--匹配我的博文标题 作者:vpoet 日期:20150625 正则匹配,我以我的博客页面的博客标题为例:http://blog.csdn.net...
  • u013018721
  • u013018721
  • 2015年06月25日 09:22
  • 2830

wordpress 修改博客文章标题字体大小

运维wordpress过程中,遇到一个问题,博客文章的字体太大,却总是无法修改成功。 按照网络资料,修改h2对应的font-size的值,更新后却没有生效。这个问题折腾了好久让我头疼不已。用Chro...
  • dreamstone_xiaoqw
  • dreamstone_xiaoqw
  • 2017年09月05日 14:11
  • 530

让wordpress首页和分类列表页只显示文章标题列表

http://up2u.72pines.com/2009/07/rangwordpressshouyehefenleiliebiaoyezhixianshiwenzhangbiaotiliebiao/...
  • zzsg2005
  • zzsg2005
  • 2012年02月27日 10:20
  • 5033

用java提取不同类型的文章标题就要设计出不同的正则表达式

用java中提取不同类型的文本目录要设计出不同的正则表达式         最近,我从网上下载了一个用java编写的用正则表达式从文本文件中批量提取文本目录的程序。用该程序,我从《神墓》这本章回小说...
  • myhrrjava
  • myhrrjava
  • 2016年10月28日 10:29
  • 499

文章标题 文章标题 文章标题 文章标题

文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文 文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正文文章正...
  • swordray
  • swordray
  • 2007年07月18日 18:33
  • 260
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:文章标题
举报原因:
原因补充:

(最多只允许输入30个字)