- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 我的个人博客网站上线啦！！！
最近在阿里云上部署了我的个人博客，域名也刚申请下来，http://www.philpy.top，这里的所有文章都会同步到那里，后续该站点也会增加更多好玩的东西，欢迎关注，敬请期待 ~ ~ ~
2021-04-29 22:18:05
2364
2
原创 Elasticsearch Head 的安装与使用
安装 Node.js下载并解压：wget https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.xztar xf node-v10.9.0-linux-x64.tar.xz -C /opt/modules/配置环境变量：vim /etc/profileexport NODE_HOME=/opt/modules/node-v10.9.0-linux-x64export PATH=$PATH:$NODE_HOME/binso
2021-04-25 11:34:47
1080
原创 Elasticsearch 之 REST API
Elasticsearch提供了一个非常全面和强大的REST API，可以使用Linux curl命令发起一个HTTP请求与集群进行交互，也可以使用任何允许进行HTTP/REST调用的工具来发起请求（比如Postman；如果是GET请求也可以直接在浏览器中访问）一个基于HTTP协议的curl请求的基本格式如下：curl -X <VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING&g
2021-04-25 11:30:48
641
原创 Kibana 安装
上传并解压将kibana-7.12.0-linux-x86_64.tar.gz上传到centos03的/opt/softwares目录中并解压到/opt/modules/目录下：（本来想用centos01的，奈何centos01磁盘位置不够了，就用centos03了…）tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz -C /opt/modules/修改配置文件修改Kibana安装目录下的config/kibana.yml文件：vim config/kib
2021-04-24 17:37:14
179
原创 Elasticsearch 集群环境的搭建
上传并解压将elasticsearch-7.12.0-linux-x86_64.tar.gz上传到/opt/softwares目录并解压到/opt/modules/目录：tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz -C /opt/modules/创建新用户由于Elasticsearch可以接收用户输入的脚本命令并执行，出于系统安全的考虑，Elasticsearch不允许直接使用root用户执行其中的命令，使用root执行命令时会报错。因此需
2021-04-24 15:05:52
200
原创 Strom 集群环境的搭建
上传并解压将apache-storm-1.1.0.tar.gz上传到centos01节点的/opt/softwares目录，然后将其解压到/opt/modules/目录：tar -zxvf apache-storm-1.1.0.tar.gz -C /opt/modules配置Storm配置环境变量sudo vim /etc/profileexport STORM_HOME=/opt/modules/apache-storm-1.1.0export PATH=$PATH:$STORM_HOM
2021-04-24 11:14:10
289
原创 Flume 的安装
上传并解压安装文件将apache-flume-1.8.0-bin.tar.gz上传到centos01节点的/opt/softwares目录，并将其解压到/opt/modules/目录下：tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/modules/配置环境变量vim /etc/profileexport FLUME_HOME=/opt/modules/apache-flume-1.8.0-binexport PATH=$PATH:$FLUME
2021-04-24 10:06:08
502
原创 Java操作Kafka
pom.xml引入依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId>
2021-04-24 10:02:13
163
原创 Kafka 命令行操作
创建主题bin/kafka-topics.sh --create --zookeeper centos01:2181,centos02:2181,centos03:2181 --replication-factor 2 --partitions 2 --topic topictest输出Created topic "topictest".则说明主题topictest创建成功：此时查看ZooKeeper中Kafka创建的/brokers节点，发现topictest的信息已记录在其中：查询主题b
2021-04-24 09:58:54
164
原创 Hadoop集群下Kafka集群的搭建
上传并解压将kafka_2.11-2.0.0.tgz上传到centos01的/opt/softwares目录，并解压到/opt/modules目录下：tar -zxvf kafka_2.11-2.0.0.tgz -C /opt/modules修改配置文件修改centos02Kafka安装目录下的config/server.properties文件：broker.id=1num.partitions=2default.replication.factor=2listeners=PLAINTE
2021-04-24 09:55:19
323
原创 Sqoop 数据互导案例
目录将MySQL中的数据导入到HDFS中启动Hadoop集群执行导入命令查看导入结果将HDFS中的数据导出到MySQL中新建表执行导出命令查看导出结果将MySQL中的数据导入到HBase中启动HBase新建HBase表执行导入命令查看导入结果先在本机MySQL建好例表：将MySQL中的数据导入到HDFS中启动Hadoop集群bin/zkServer.sh startsbin/start-all.shsbin/hadoop-daemon.sh start zkfc执行导入命令sqoop i
2021-04-15 21:54:49
190
原创 Sqoop 安装与配置
上传并解压将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到centos01上的/opt/softwares目录并将其解压到/opt/modules目录并重命名：tar -axvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modulesmv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7配置环境变量vim /etc/profileexport SQOOP_HOME=/opt/
2021-04-15 21:48:50
975
原创 nginx反向代理配置问题
nginx反向代理碰到403，尤其是那种可以POST但是不能PUT和DELETE的403，赶紧去检查一下自己有没有写反爬虫之类的配置文件：如果有的话，里面大概率会有下面红框里的内容，要么把他注释掉，要么把PUT、DELETE等你需要的请求添加进去：（我觉得还是注释掉比较方便…）...
2021-04-10 21:50:23
315
原创 Hive 使用 Beeline CLI
Hive 使用 Beeline CLI修改用户权限在centos01中，修改core-site.xml配置文件，添加以下内容： <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value></property> <property> <name>hadoop.proxyuser.hadoop.groups&l
2021-04-10 09:33:34
155
原创 Hive 远程模式配置
远程模式分为客户端与服务端两个部分，服务端的配置与本地模式相同，客户端需要单独配置这里将centos01节点作为Hive的服务端，centos02节点作为Hive的客户端，在本地模式的基础上继续进行远程模式的配置客户端配置Hive在centos01节点中执行以下命令，将Hive安装文件复制到centos02节点：scp -r /opt/modules/apache-hive-2.3.8-bin/ hadoop@centos02:/opt/modules/修改centos02节点的hive-sit
2021-04-10 08:44:02
1601
原创 Hive 本地模式安装
配置MySQLcreate database hive_db;create user hive@'localhost' identified by 'hive';update mysql.user set host = '%' where user = 'hive';GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;FLUSH PRIVILEGES;完成后查看结果：配置Hive上传驱动包上传mysql-connect
2021-04-09 22:13:02
205
原创 Hive 内嵌模式安装
上传并解压将Hive的安装包上传到centos01中的/opt/softwares文件夹，并解压到/opt/modules中：tar -zxvf apache-hive-2.3.8-bin.tar.gz -C /opt/modules/配置环境变量sudo vim /etc/profileexport HIVE_HOME=/opt/modules/apache-hive-2.3.8-binexport PATH=$PATH:$HIVE_HOME/bin source /etc/profi
2021-04-09 20:16:37
870
原创 Spark HA 搭建
修改spark-env.sh配置文件export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=centos01:2181,centos02:2181,centos03:2181 -Dspark.deploy.zookeeper.dir=/spark"spark.deploy.zookeeper.url：指定ZooKeeper集群各节点的主机名与端口spark.
2021-04-02 14:45:32
221
原创 Spark On YARN 模式的搭建
修改spark-env.sh配置文件export HADOOP_HOME=/opt/modules/hadoop-2.8.2export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop测试运行Spark应用程序测试运行Spark自带的求圆周率的例子：（提前启动HDFS和YARN）bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster
2021-04-02 11:37:26
172
原创 Spark Standalone 模式搭建
上传并解压安装包将spark-2.4.0-bin-hadoop2.7.tgz上传到centos01节点的/opt/softwares目录，然后进入该目录，执行以下命令，将其解压到/opt/modules中：tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/modules修改配置文件修改slaves文件执行以下命令，复制slaves.template文件为slaves文件：cp slaves.template slaves然后修改slaves文件
2021-04-02 11:04:56
203
原创 Hadoop HA 下安装 HBase HA 并测试 以及 HBase Shell 命令操作
Hadoop HA 下安装 HBase上传并解压HBase安装包将安装包上传到centos01下的/opt/softwares目录并将其解压到/opt/modules：tar -axf hbase-1.2.6.1-bin.tar.gz -C /opt/moduleshbase-env.sh文件配置修改HBase安装目录下的conf/hbase-env.sh，配置HBase相关JDK，加入以下代码：export JAVA_HOME=/opt/modules/jdk1.8.0_161export
2021-04-02 09:33:58
703
Typora安装程序
2020-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人