关闭

SparkStream:4)foreachRDD详解

转载自:http://blog.csdn.net/jiangpeng59/article/details/53318761 foreachRDD通常用来把SparkStream运行得到的结果保存到外部系统比如HDFS、Mysql、Redis等等。了解下面的知识可以帮助我们避免很多误区 误区1:实例化外部连接对象的位置不正确,比如下面代码 dstream...
阅读(13) 评论(0)

如何删除Kafka的Topic

在server.properties文件中添加配置:delete.topic.enable=true 创建kafka主题: kafka-topics.sh --create --zookeeper 192.168.168.200:2181 --replication-factor 1 --partitions 1 --topic TestTopic 执行删除命令: ...
阅读(125) 评论(0)

WINSCP传输文件自动赋予777权限

WinSCP WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端。同时支持SCP协议。它的主要功能就是在本地与远程计算机间安全的复制文件。 为了复制到Linux的文件具有777权限,不必每次启动服务或者写日志文件报权限不足,需要修改一些配置: 1、点击【选项】---->【选项】 2、点击【传输】---》【编辑】 ...
阅读(12) 评论(0)

Linux shell 将字符串分割成数组

原文链接:http://1985wanggang.blog.163.com/blog/static/776383320121745626320/   a="one,two,three,four" 要将$a分割开,可以这样: OLD_IFS="$IFS" IFS="," arr=($a) IFS="$OLD_IFS" for s in ${arr[@]} do e...
阅读(4) 评论(0)

用shell通过jps -m来杀死进程

#!/bin/sh### find pidjps=`jps -m`echo "$jps" | while read i do if [[ $i =~ "agentTestTopic" ]]; then #将字符串分割成数组 OLD_IFS="$IFS" IFS=" " arr=($i) IFS="$OLD_IFS" echo ${arr[0]} pid...
阅读(30) 评论(0)

用Shell判断字符串包含关系的方法小结

这篇文章主要给大家介绍了关于用Shell判断字符串包含关系的几种方法,其中包括利用grep查找、利用字符串运算符、利用通配符、利用case in 语句以及利用替换等方法,每个方法都给出了详细的示例代码与介绍,有需要的朋友们可以参考参考借鉴,下面来一起看看吧。 前言 现在每次分析网站日志的时候都需要判断百度蜘蛛是不是真实的蜘蛛,nslookup之后需要判断结果中是否包含“baidu”字符...
阅读(2) 评论(0)

让shell脚本中的echo输出带颜色

转载自:http://www.linuxidc.com/Linux/2014-12/110463.htm 让echo输出带颜色的方法有两种 1.在shell脚本中定义颜色变量,使用echo -e调用变量 2.定义变量的时候,把echo -e定义到变量中,然后输出变量 可以让echo输出显示颜色的shell脚本 #!/bin/bash#定义颜色的变量RED_COLOR='\...
阅读(1) 评论(0)

Linux如何查看端口被哪个进程占用

lsof -i:端口号 lsof -i:端口号,用于查看某一端口的占用情况,比如查看22号端口使用情况,lsof -i:8080,如下图 [root@master bin]# lsof -i:8080COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEjava 4509 root 241u IPv6 35534 ...
阅读(19) 评论(0)

Linux shell脚本读取用户输入的参数

新建一个test.sh文件 #!/bin/shecho "1 : For Test"echo "2 : For nohup &" while true do echo -n "please enter the number:" read line echo "$line" if [[ $line = "1" ]];then echo "For Test" elif [[ $line = "2...
阅读(31) 评论(0)

Shell脚本IF条件判断和判断条件总结

转载自:http://www.jb51.net/article/56553.htm 前言:       无论什么编程语言都离不开条件判断。SHELL也不例外。 if list then do something here elif list then do another thing here else do something else here fi​ ...
阅读(16) 评论(0)

shell脚本报错:"[: =: unary operator expected"

shell脚本报错:"[: =: unary operator expected"     在匹配字符串相等时,我用了类似这样的语句: if [ $STATUS == "OK" ]; then      echo "OK" fi     在运行时出现了 [: =: unary operator expected 的错误,就一直找不到原因,尝试了删除等号两侧的空格和括号...
阅读(19) 评论(0)

解决CSDN博客 类别管理/文章分类 批量移动管理问题

转载自:http://blog.csdn.net/viphong/article/details/70943189 一直用csdn写东西,由于个人习惯问题,文章分类非常细,到后面堆积的非常多,就显得非常乱,因此想重新按字典序重拍一下分类,发现CSDN后台提供的只有手动点击 “上移”、“下移”,一次只能移动一个位置的低效率操作,可想而知要是有上百个分类,就算用快速排序的方法,也得点上一两个...
阅读(20) 评论(0)

Linux平台下停止后台进程脚本编写

1、场景说明 [root@master ~]# jps -m33050 Jps -m3299 NameNode3747 ResourceManager9028 ConsoleConsumer --zookeeper 192.168.168.200:2181 --topic BusTicket4331 Worker --webui-port 8081 spark://master:70773400...
阅读(29) 评论(0)

Linux 命令自动补齐快捷键

Linux 命令自动补齐快捷键 : TAB...
阅读(17) 评论(0)

flume-ng-sql-source实现oracle增量数据读取

一、下载编译flume-ng-sql-source 下载地址:https://github.com/keedio/flume-ng-sql-source.git ,安装说明文档编译和拷贝jar包 嫌麻烦的也可以直接,CSDN下载地址:http://download.csdn.net/detail/chongxin1/9892184 此时最新的版本为flume-ng-sql-sou...
阅读(23) 评论(0)

Java JDBC基本用法

准备oracle驱动包:maven添加oracle jdbc依赖 pom.xml com.oracle ojdbc5 11.2.0.1.0 runtime 测试数据库表: create table TEST(  username VARCHAR2(32) not null,  pa...
阅读(56) 评论(0)

spark-streaming-kafka-0-8 和 0-10的使用区别

一、spark-streaming-kafka-0-8_2.11-2.0.2.jar 1、pom.xml     org.apache.spark    spark-core_2.11    2.0.2    runtime    org.apache.spark    spark-streaming_2.11    2.0.2    runtime    org.apache.spark...
阅读(35) 评论(0)

kafka_2.11-0.10.0.1生产者producer的Java实现

转载自:http://blog.csdn.net/qq_26479655/article/details/52555283 首先导入包 将kafka目录下的libs中的jar包导入用maven建立     org.apache.kafka    kafka-clients    0.10.0.1 写好properties配置文件  一下为项目结构  #kafka集群...
阅读(28) 评论(0)

单机RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤

1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5) 2、在Linux下安装JDK图文解析 3、RedHat6.5上安装Hadoop单机 4、  RedHat6.5安装Spark单机 5、RedHat6.5安装zookeeper单机 6、RedHat6.5安装kafka集群 7、RedHat6.5安装单机flume1.6...
阅读(51) 评论(0)
93条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:12102次
    • 积分:757
    • 等级:
    • 排名:千里之外
    • 原创:63篇
    • 转载:20篇
    • 译文:0篇
    • 评论:7条
    最新评论