- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 一个读取文件内容的shell脚本
如下展示的是一个shell脚本，该脚本可以2行2行的读取文件中的内容，然后把读取到的文件内容保存到一个名为target.json的文件当中，然后打印出target.json中的内容，打印完毕删除target.json文件，然后再新建target.json文件，然后再读入两行内容，然后再打印，再删除，直到源文件被读完。贴到博客的目的是做个笔记，毕竟本人没有专门学个shell编程，这些脚本中的某些语法
2018-01-23 12:13:54
15226
原创 java连接Hbase 1.4.0集群进行增删改查示例
1.本示例的项目结构如下图所示：2.示例中的配置文件hbase-site.xml，只需将Hbase集群中的同名配置文件拷贝进来即可，该配置文件内容如下：<!--/** * * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreement
2018-01-11 20:26:03
4330
原创 idea中字体颜色设置成类似eclipse的方案
由于本人一开始使用的是eclipse，转为idea后为了习惯这个新的编辑器，所以将其字体颜色设置的与eclipse类似，以便感觉是在使用eclipse，后来就习惯这个风格了，现在做一下笔记，顺便分享给有需要的人：设置idea中文件状态颜色路径是： Preferences -> Editor -> Color & Fonts -> File Statusidea编辑器中颜色配置，效果类似ec
2018-01-11 15:55:00
13786
3
原创 hadoop 2.7.4 下运行WordCount例子笔记
1.源码如下：package com.mapred.core;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import o
2018-01-11 11:25:33
1228
原创 使用intellij idea 15.0.6工具创建可执行 JAR
第一步：选中项目，点击 File -> Project structure -> artifacts ,然后在弹出的面板的中间点击绿色+号按钮，选择 JAR -> from modules with dependencies。至此，弹出下图所示界面：第二步：如上图所示，填写Main class的值为带有main方法的那个启动类的完整类名。 选
2018-01-11 10:59:22
549
转载 java操作hadoop hdfs，实现文件上传下载demo
本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等，并实际的做了一下验证。代码与引用的文章差别不大，现列出来作为备忘。import java.io.*;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSD
2018-01-10 17:21:56
10221
原创 centos7 搭建spark单机环境
安装spark（单机环境）cd /softtar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local//usr/local/spark-2.2.1-bin-hadoop2.7环境变量：echo "export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.7" >> /etc/profil
2018-01-09 20:28:21
1588
原创 centos7 安装scala笔记
安装scalacd /softtar -zxvf scala-2.12.4.tgz -C /usr/local/cd /usr/local/环境变量：echo "export SCALA_HOME=/usr/local/scala-2.12.4" >> /etc/profileecho -e 'export PATH=$PATH:$SCALA_HOME/bin'>> /etc/p
2018-01-09 20:26:36
511
原创 centos7 搭建kafka集群笔记
安装kafkacd /softtar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/mv /usr/local/kafka_2.11-1.0.0/ /usr/local/kafka_2.11环境变量：echo "export KAFKA_HOME=/usr/local/kafka_2.11" >> /etc/profileecho -e '
2018-01-09 20:25:20
265
原创 centos7 安装hbase三节点集群笔记
安装HBasecd /softtar -zxvf /soft/hbase-1.4.0-bin.tar.gz -C /usr/local/cd /usr/local/ ###可以看hbase解压到该目录, 文件名称是： hbase-1.4.0环境变量：echo "export HBASE_HOME=/usr/local/hbase-1.4.0" >> /etc/profileech
2018-01-09 20:23:27
1690
原创 centos7 hadoop 3节点集群安装笔记
安装 hadoop赋予hadoop用户sudo权限：1. 切换到root用户，给hadoop用户授予sudo权限：修改/etc/sudoers文件，由于默认root用户也不可以写入，这里开启写入权限：su - rootcd /etc/ls -la | grep sudoerchmod u+w sudoers 2 增加一行，赋予hadoop用户sudo权限：
2018-01-09 20:20:05
969
原创 centos7 ssh免密钥登陆笔记
SSH免密钥登陆： 1.首先以root用户身份，修改：vim /etc/ssh/sshd_config #禁用root账户登录，如果是用root用户登录请开启。PermitRootLogin yes# 是否让 sshd 去检查用户家目录或相关档案的权限数据，# 这是为了担心使用者将某些重要档案的权限设错，可能会导致一些问题所致。# 例如使用者的 ~.ssh/ 权限设错时，
2018-01-09 20:18:33
1143
1
原创 centos7安装zookeeper笔记
安装zookeeper关闭防火墙：停止： systemctl stop firewalld.service 禁止firewall开机启动： systemctl disable firewalld.service 查看默认防火墙状态（关闭后显示notrunning，开启后显示running）：firewall-cmd --state 解压安装： cd /soft tar -zx
2018-01-09 20:16:02
387
原创 centOs7安装java笔记
安装java1. 列出已经安装的java：yum list installed | grep java2. 卸载自带：yum -y remove java-1.7.0-openjdk.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64 yum -y remove java-1.8.0-op
2018-01-09 20:14:29
216
原创 一个删除文件夹下所有文件的shell脚本，不删除最外层的文件夹
最近，由于工作需要，写了一个删除文件夹下所有文件的shell脚本，代码比较丑陋，但是可用，哈哈。centos7下亲测可用。该脚本只删除父文件夹下的所有文件和子文件夹，但不删除父文件夹本身。这个shell脚本文件名是：clearFile.sh。内容是：#! /bin/bashfunction clearFile(){ if [`$1 -eq 'logs'` -o `$1 -eq
2018-01-06 17:56:47
10005
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人