- 博客(189)
- 收藏
- 关注
RSS订阅原创 CentOS7安装MySQL（完整版）
一、检查系统是否安装老版本，有的话干掉#yum list installed | grep mysqlmysql-libs.x86_64 5.1.73-5.el6_6 @anaconda-CentOS-201508042137.x86_64/6.7#yum -y remove mysql-libs.x86_64二、下载并安装MySQL官方的 Yum Repository具体选择什么版本查看http://repo.mysql.com来定wget http://repo.mysql.
2020-08-03 11:04:09
3066
1
原创 centos7.5配置SSH
标题centos7.5开启ssh服务https://blog.csdn.net/menglongfc/article/details/95732671标题CentOS7做ssh免密登录(1)实验环境 两台CentOS7： youxi1 192.168.1.6 youxi2 192.168.1.7 这里我将防火墙关闭进行实验，如果防火墙开启，请将端口加入到防火墙规则中。(2).目标 在ssh端口不为22的情况下，进行单向免密登录或双向免密登录（端口不一致）
2020-07-31 17:11:39
633
原创 centos7并且克隆出多个
接下来我就具体讲讲怎么使用VMware的克隆以及IP的配置吧。首先，这些的前提是你已经在虚拟机上安装了centos7系统。第一步，直接点击clone选择安装位置以及名字，点击完成，等待clone finish。第二步：开始生成新的MAC地址点击Generate,生成新的MAC地址，复制记住后面需要用到第三步：开始配置IP,MAC以及更改主机名和主机名与地址的映射。打开克隆的Centos 7系统，然后输入命令ip addr可以看到网卡名，这个我们后面命令需要。然后输入这
2020-07-31 15:51:08
275
原创 CentOS7使用集群同步脚本对配置文件同步分发
CentOS7使用集群同步脚本对配置文件同步分发 1.介绍使用集群同步脚本对配置文件同步分发2.操作1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：[root@hadoop101 ~]$ mkdir bin[root@hadoop101 ~]$ cd bin/[root@hadoop101 bin]$ vi xsync在该文件中编写如下代码（其中第5步需要按自己集群情况配置分发范围）复制代码#!/bin/bash#1 获取输入参数个数
2020-07-31 15:17:47
336
原创 备份文档——CentOS7.5安装过程
1..系统安装 1）系统安装初始网络配置 初始安装调整网卡 tab----输入net.ifnames=0 biosdevname=0 回车后进入安装界面 选择NETWORK & HOST NAME configure-----激活网卡功能 配置ipv4地址 主机名配置 ----enabled开启网卡 2) 系统分区设置 选择INSTALLATION DESTNATION 选择
2020-07-31 15:12:58
157
原创 Vmware Centos7.5 NAT网络配置详细教程
1、打开vmware,点击编辑->虚拟网络编辑2、选中“NAT模式”，点击“更改设置”3、点击“NAT设置”，查看“子网掩码”和“网关IP”，将其记录下来，后面需要用到4、进入vmware界面，右击虚拟机，选择“设置”，将网络适配器更改为“NAT模式”5、开启虚拟机，进入centos76、cd /etc/sysconfig/network-scripts 到目录下面找到ifcfg-ens*看开头的文件7、vi ifcfg-ens33 编辑此文件，添加如下配置上图
2020-07-31 15:06:03
751
原创 Ubuntu18.04LTS搭建CDH6.3.0环境-版本二
CM在线安装版本 注意事项 0.最好是干净的环境 1.root身份 2.建议主server在线安装 下载好资源后(默认下载到的位置/var/cache/apt/archives) 其他节点直接发过去安装包.deb 然后进行本地安装 dpek --install xxx.deb 4.sudo apt-get install openjdk-8-jdk(server节点被这个替换了 不然总是提示找不打java) 3.mysql-connector-java-8.20.jar 最好
2020-07-30 15:57:45
1420
5
原创 Ubuntu18.04LTS搭建CDH6.3.0环境-版本一 推荐
Ubuntu 使用apt = Centos 使用yum安装前的准备1.相关离线资源(也是在线安装时的自动下载资源地方)参考地址 https://archive.cloudera.com/cm6/6.3.0/ubuntu1804/apt/ https://archive.cloudera.com/cdh6/6.3.2/parcels/2.ubuntu中apt-get安装与默认路径 一、apt-get 安装（ubuntu使用apt如果是centos则使用yum安装方式） deb是debi
2020-07-28 17:04:19
950
1
原创 Ubuntu 安装、卸载mysql和简单操作
安装安装mysqlubuntu上安装mysql非常简单只需要几条命令就可以完成。sudo apt-get install mysql-server //服务端sudo apt-get install mysql-client //客户端sudo apt-get install libmysqlclient-dev //程序编译时链接的库安装过程中会提示设置密码什么的，注意设置了不要忘了，安装完成之后可以使用如下命令来检查是否安装成功：sudo
2020-07-28 10:08:57
248
原创 Kibana dev-tools常用命令
V-7.8.0 Dev tools 常使用命令集锦GET _search{ "query": { "match_all": {} }}PUT /my_store{ "settings": { "number_of_shards": 1 }, "mappings": { "products": { "properties": { "productName": { "type": "text"
2020-07-24 09:48:39
788
原创 ELK搭建过程重点问题集锦和资源下载最佳来源
*版本 elastic-7.8.0 要求jdk版本在11以上 JDK-11.0.5 node-v10.xx *D:\java\jdk8 改为了 C:\Program Files\Java\jdk-11.0.5软件下载地址 http://elasticsearch.cn/download/ http://nodejs.cn/download/ 空间地理分析kibana 官方地址 https://www.elastic.co/guide/en/kibana/current/maps.ht
2020-07-24 09:47:02
336
原创 Ubuntu18.04常用命令总结
查看文件内容catnano命令退出退出请按Ctrl+X 如果文件未修改，直接退出 如果文件修改了 输入Y确认保存，输入N不保存vi命令退出首先需要按ESC键回到命令模式；然后输入:wq 保存文件并退出vi；最后回车即可Ubuntu中apt与apt-get命令的区别简单来说就是：apt = apt-get、apt-cache 和 apt-config 中最常用命令选项的集合。apt 命令 取代的命令 命令的功能apt install apt-get install 安装软件
2020-07-24 09:31:55
1142
原创 ubuntu本地maven仓库配置的setting.xml(使用win7搭建的本地中央仓库nexus)
<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings
2020-07-24 09:29:09
540
原创 大数据项目实践过程笔记
开发工具intelijidea 2.19.3目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。依然保留了ETL的动作，将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。流式架构在传统大数据架构的基础上，流式架构数据全程以流的形式处理，在数据接入端将ETL替换为数据通道。经过流处理加工后的数据，以消息的形
2020-07-24 09:23:51
2728
原创 Hadoop基础-Apache Avro串行化的与反串行化
标题Hadoop基础-Apache Avro串行化的与反串行化https://www.cnblogs.com/yinzhengjie/p/9127535.html标题官方demohttp://avro.apache.org/docs/1.9.1/gettingstartedjava.html
2020-07-24 09:12:39
70
原创 VMware+Ubuntu环境配置
虚拟机ubuntu磁盘空间不足的扩容https://blog.csdn.net/u013755520/article/details/91978293https://www.jianshu.com/p/836d0b98c187聊聊 Ubuntu 18.04 静态IP设置https://blog.51cto.com/shujuliu/2294058https://blog.csdn.net/weixin_42776979/article/details/81450213?utm_source=bl
2020-07-23 15:45:05
150
原创 Hadoop运行原理剖析
MapReduce切片、分区和分组的理解https://www.cnblogs.com/jiangbei/p/8395045.htmlhttps://www.cnblogs.com/at0x7c00/p/8064182.htmlhttps://blog.csdn.net/paul250670/article/details/100523812Job作业集群提交流程分析图https://blog.csdn.net/hellozhxy/article/details/82497235MapRe
2020-07-23 15:38:04
91
原创 大数据平台架构的理解
什么是大数据平台有三个疑问：1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件，配置些参数，找几台服务器部署起来就算是一套大数据平台吗?2.数据开发人员平时的工作是不是写些MR或者SQL任务，使用原生的命令行提交任务就可以了吗?3.平台开发人员日常的工作是不是处理下集群的故障，给业务方扫盲，纠正各种框架组件使用姿势呢?大数据平台个人理解：***是基于开源或自研组件的基础上创造更多的附件价值，提供给用户一个完整的大数据业务解决方案，而
2020-07-23 15:11:22
597
原创 大数据知识体系
潇洒劫个妞-大数据体系笔记教程https://www.cnblogs.com/xsjgn/tag/it18%E6%8E%8C/、阶段一、大数据、云计算 - Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业中的项目基本上都是使用Linux环境下搭建或部署的。1）Linux系统概述2）系统安装及相关
2020-07-23 15:03:47
1264
1
原创 Hadoop启动问题集锦
图解SSH原理https://www.jianshu.com/p/33461b619d53Java API操作Hadoop可能会遇到的问题以及解决办法https://www.zifangsky.cn/1292.htmlhadoop多次（两次以上）初始化以后，无法启动DataNode节点（已解决）https://blog.csdn.net/lukabruce/article/details/80277846?utm_source=blogxgwz6...
2020-07-23 14:49:18
103
原创 Hadoop安装参考
推荐一个超详细的Hadoop安装教程，已有32万次点击量https://cloud.tencent.com/developer/article/1498124由于安装文件免安装程序，故只需要将对应文件复制到相应目录，然后配置环境变量即可；1、移动文件到指定目录（1）在/usr/local下新建一个java目录sudo mkdir /usr/local/java（2）进入到免安装程序目录下，本系统是放在~/Downloads/下，故执行命令：cd ~/Downloadsmv jdk
2020-07-23 14:38:34
101
原创 大数据示例项目
视频访问量实时统计项目学习+applogs流量数据项目学习https://www.cnblogs.com/tongxupeng/category/1381765.htmlhttps://github.com/CodeTxp/bigDataPro
2020-07-22 10:50:19
179
原创 Spark核心技术与实战-阿里云
Spark核心技术与实战-阿里云https://yq.aliyun.com/topic/69?utm_content=m_17543
2020-07-17 09:43:32
163
转载 Spark命令笔录（4）-运行模式
Spark程序运行需要资源调度的框架，比较常见的有Yarn、Standalone、Mesos等，Yarn是基于Hadoop的资源管理器，Standalone是Spark自带的资源调度框架，Mesos是Apache下的开源分布式资源管理框架，使用较多的是Yarn和Standalone，本篇浅谈Spark在这两种框架下的运行方式。1 StandaloneStandalone分为两种任务提交方式：client，clusterStandalone-client任务提交命令：【默认是standalon.
2020-07-16 10:23:07
196
原创 Hadoop实践笔记
#########ubuntu18.04 lts#####################hadoop3.2.0#########################jdk1.8.0_11################客户机桌面模式和文本模式切换1.ctrl+alt+f6 //文本模式2.ctrl+alt+f7 //桌面模式开机进入文本模式1.修改/etc/default/grub文件 [/etc/default/grub] ... #图形模式 GRUB
2020-07-15 15:01:23
809
转载 Spark命令笔录（3）-参数调优和数据倾斜处理
1. spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式: 复制代码./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ # other
2020-07-14 17:31:17
349
原创 Spark命令笔录（2）-spark-submit
注意 任务jar包如果采用集群模式cluster则需要在集群所有机器上都上传任务jar包spark-submit \--class com.cloudera.datascience.geotime.RunGeoTime \--master spark://192.168.146.100:6066 \--deploy-mode cluster \ --executor-memory 1G \--executor-cores 3 \--name "taxiGeoSpace1" \/home/fg
2020-07-14 14:48:52
206
原创 Spark引擎架构图解
https://www.zhihu.com/question/353387716/answer/882177429打个比喻：有个年轻人，他参加了蓝翔烹饪学校的课程，立志成为一名厨师。毕业后，他开了一家小餐馆。在他看来，他每天的任务就是早上把食材准备好，放在厨房的一个冰箱里，他开工时，按照客户的点单，从冰箱取出相应食材进行烹饪。这种日子也挺惬意，厨师度过了开店前六个月安稳的小日子。有一天，顾客A对他说：你的菜很棒，我想请你为我们工厂提供工作餐，你看可以吗？厨师立马就答应下来了。但是他坐下来一想，可能要准备
2020-07-13 10:02:28
385
原创 实践大数据所需的量及的数据集和案例
标题GIS+=地理信息+大数据——新浪微博签到POI数据下载(880W)https://github.com/lzxue/WeiboDataSharehttp://www.voidcn.com/article/p-sooviuxj-hh.htmlkaggle纽约出租车数据分析https://www.kaggle.com/karelrv/nyct-from-a-to-z-with-xgboost-tutorial/outputhttps://www.kaggle.com/c/nyc-taxi-tr
2020-07-10 14:30:02
562
原创 GIS好的内容资源总结
GIS+=地理信息+云计算+大数据+容器+物联网+…https://blog.csdn.net/chinagissoft/article/list/1GIS开发者https://www.giserdqy.com/geospatial/10758/ThinkGIS GIShttp://www.thinkgis.cn/
2020-07-10 13:54:05
132
原创 Spark(cloudera manager)命令笔录（1）-spark-shell
Spark基础概念方法讲解 1. 代码+案例详解：使用Spark处理大数据最全指南（上） https://www.jianshu.com/p/826c16298ca6 2. 代码+案例详解：使用Spark处理大数据最全指南（下） https://zhuanlan.zhihu.com/p/95022557Spark 部署启动参看 https://github.com/heibaiying/BigData-NotesSpark之本地模式与集群模式https://blog.csdn.
2020-07-07 17:33:04
424
原创 ELK问题集锦
版本 elastic-7.8.0 要求jdk版本在11以上JDK-11.0.5node-v10.xxD:\java\jdk8 改为了 C:\Program Files\Java\jdk-11.0.5软件下载地址http://elasticsearch.cn/download/http://nodejs.cn/download/elastic版本与kibana版本号一致 logstash版本一致 避免版本冲突2.kibana安装前提需要安装jdk、node、elasticsearc
2020-07-07 14:14:09
401
原创 VUE开发笔记
vue组件创建时 export default代码块要进行格式调整，左侧消除空格vue在ie浏览器中显示效果需要进行安装babel-polyfill包vue引入axios注意var axios = require(‘axios’)//后端服务地址 baseURL 不能写成baseUrlaxios.defaults.baseURL = ‘http://localhost:8443/api’vue build之后将dist文件夹内的所有内容copy到springboot项目下的resources/.
2020-06-04 14:46:21
146
原创 c# 实现的 mongodb空间索引，空间查询(三)
using MongoDB.Bson;using MongoDB.Driver;using MongoDB.Driver.Builders;using MongoDB.Driver.GeoJsonObjectModel;using System;using System.Collections.Generic;using System.Diagnostics;using System...
2019-07-27 20:25:51
338
原创 c# 实现的 mongodb空间索引，空间查询(二)
using MongoDB.Bson;using MongoDB.Driver;using MongoDB.Driver.Builders;using MongoDB.Driver.GeoJsonObjectModel;using System;using System.Collections.Generic;using System.Diagnostics;using System...
2019-07-27 20:24:46
316
原创 c# 实现的mongodb空间索引，空间查询(一)
using MongoDB.Bson;using MongoDB.Driver;using MongoDB.Driver.Builders;using MongoDB.Driver.GeoJsonObjectModel;using System;using System.Collections.Generic;using System.Diagnostics;using System...
2019-07-27 20:23:03
947
转载 MongoDB系列五（地理空间索引与查询）.
一、经纬度表示方式MongoDB 中对经纬度的存储有着自己的一套规范（主要是为了可以在该字段上建立地理空间索引）。包括两种方式，分别是 Legacy Coordinate Pairs （这个词实在不知道怎么翻译…） 和 GeoJSON 。Legacy Coordinate PairsLegacy Coordinate Pairs 又有两种方式可以存储经纬度，可以使用数组(首选)或嵌入式文档...
2019-07-27 20:19:34
635
转载 Scrapy笔记：Scrapy爬取数据在Pipeline数据入库时，偶尔出现数据重复插入的情况
问题描述：用Scrapy来爬取某论坛数据，在数据导入mysql数据库中，一直有个别数据重复插入。修改之前代码：class AyncMysqlPipeline(object): # 初始化数据库连接 def __init__(self): dbparms = dict( host='127.0.0.1', db='j...
2019-07-27 20:07:07
531
转载 scrapy主动退出爬虫的代码片段
self.crawler.engine.close_spider(self, '结束爬虫!')1，此行代码是写在spider文件中的2，虽然这一行代码会停止爬虫，但是这一行代码的停止并不是立即停止原因是因为当我们不更改爬虫的setting.py文件的时候，默认配置是：# Configure maximum concurrent requests performed by Scrapy (...
2019-07-27 20:01:46
328
原创 mongodb建立索引时碰到的问题
1.c#操作mongodb；新建索引 mongodb索引建立在表建立之时设定，导入数据之前设定，导入数据时由mongodb自己维护记录索引创建，导入数据之后再设定，会非常耗费内存2.索引建立 区分字段大小写 panoId 和 PanoID创建的索引效果不一样 索引创建采用的字段一定要书写准确3.如果不创建索引 直接采用find({"":""})条件查询 在数据量大时则会很慢且导致内存溢出...
2019-07-05 23:16:55
719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人