- 博客(16)
- 收藏
- 关注
RSS订阅转载 centOS使用Ansible
问题安装epel源rpm -iUvh http://dl.Fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm 后，执行yum install ansible报错 One of the configured ...
2019-09-02 08:54:00
106
转载 Machine Learning- Andrew Ng
监督学习训练集包含正确的结果，有回归和分类算法回归：已知若干面积和售价的数据集，预测指定面积房价分类：已知肿瘤的大小对应良性/恶性的数据集，预测指定肿瘤的性质无监督学习只给出样本，需要找出特征进行分类，如聚类算法线性回归算法代价函数（cost function）定义：其中，...
2019-08-27 16:08:00
139
转载 Scrapy使用
环境安装python3.7scrapy爬虫开发注意: scrapy开发使用普通windows的cmd进入或者git bash都可以，编辑完爬虫逻辑后 使用scrapy命令来运行添加项目文件scrapy startproject tutorial在spider...
2019-08-23 16:14:00
122
转载 Spark机器学习
构建机器学习工作流目的查找出所有包含”spark”的句子，即将包含”spark”的句子的标签设为1，没有”spark”的句子的标签设为0基本流程构建训练数据集定义 Pipeline 中的各个工作流阶段PipelineStage，包括转换器和评估器，具体的，包含tokenize...
2019-08-13 10:06:00
112
转载 高级bash脚本
分隔符(;)以下两个分号 结束case分支.等价于source bash sh命令，都可以执行sh文件`表示优先执行cp `mkdir back` hello.sh back:冒号表示什么都不做 或者true#!/bin/bashwhile :do ech...
2019-08-12 11:28:00
150
转载 IDEA开发Spark项目sbt引入依赖
问题说明spark中运行项目有两种方式在spark-shell中导入依赖，编写代码，执行和在idea中写好应用，使用spark-submit方式提交到spark运行在使用idea开发spark应用时，引入依赖总是失败，原因是不知道依赖的信息和对应scala版本的关系，所有需...
2019-08-08 09:37:00
4370
转载 Spark-Streaming
监听文件流创建文件在log1.txt输入A终端打开spark-shell,输入命令此时监听端已打开A终端创建新文件log2.txtI love HadoopI love SparkSpark is slowA结果显示：spark监听套接字流安装nc...
2019-08-07 17:23:00
260
转载 SparkSQL
spark-shell读取文件创建DataFrameparquet文件转换DataFrameDataFrame保存成parquet文件spark通过JDBC连接mysql复制mysql驱动到spark目录mysql建表mysql> create dat...
2019-08-07 11:39:00
99
转载 线上问题解决
现象在开发、测试环境下载图片功能正常，在生产环境下下载出来图片不完整解决办法释放内存 磁盘空间 无法解决可用内存对比检查前端路径 重新发布前端代码将生产所用分支 发布到开发环境 进行测试 ...
2019-08-07 09:49:00
79
转载 Spark读写Hbase数据
环境spark: 2.4.3hbase: 1.1.5步骤启动hadoop-3.1.2,hbase2.2.0把HBase的lib目录下的一些jar文件拷贝到Spark中，这些都是编程时需要引入的jar包，需要拷贝的jar文件包括：所有hbase开头的jar文件、guava-12.0...
2019-08-06 17:52:00
474
转载 CentOS7下hadoop开发 - hdfs文件导入与导出
文件准备centOS下安装wget命令yum -y install wgetwget http://labfile.oss.aliyuncs.com/courses/832/weblog_entries.txthdfs和本地文件相互复制（hadoop shell命令）1、 在...
2019-08-01 14:33:00
1394
转载 cenOS7下spark使用
环境准备Java JDK 1.8hadoop3.1.2spark2.4.3cd /home/hadoopsudo chown -R hadoop:hadoop ./spark-2.4.3cp ./conf/spark-env.sh.template ./conf/spark-env...
2019-07-30 15:35:00
87
转载 centOs7下hive安装与使用
环境hadoop3.1.2centOS 7mysql 5.1.32安装下载并解压到/home/hadoop，避免没有权限创建metastore_db文件配置hive环境变量修改配置文件 进入hive/confmv hive-default.xml.templat...
2019-07-30 13:32:00
447
转载 hbase安装与使用
hbase架构环境准备安装jdk1.8，配置/etc/profile下JAVA_HOME环境变量安装并启动伪分布式模式hadoop,版本为hadoop-3.1.2，安装到/opt/hadoop-3.1.2目录，启动hdfs,mapreduce,yarn组件安装hbase...
2019-07-11 15:04:00
130
转载 数据结构与算法
线性结构数组链表树二分查找用数组表示二叉树二叉树可以用链表表示二叉树的遍历分递归和非递归方式；递归分为前序遍历、中序遍历和后序遍历；非递归可以使用堆栈方式和队列方式实现；二叉搜索树左子树的所有节点数据小于当前节点，右子树的所有节点数据大于当前节点平均查找复杂度log(...
2019-06-25 10:02:00
48
转载 Win7系统安装hadoop
环境准备安装JDK1.8，配置JAVA_HOME下载hadoop_3.1.2，配置HADOOP_HOME配置HDFS修改hadoop-env.cmd增加set HADOOP_PREFIX=%HADOOP_HOME%set HADOOP_CONF_DIR=%HADOOP_P...
2019-06-17 10:53:00
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人