大数据
何小义的AI进阶路
记录各种技术坑,记录学习笔记,gogogo
展开
-
linux安装和配置kafka(基础入门步骤)
文章转载至:https://www.jb51.net/article/76397.htm一、关闭SELINUX、开启防火墙9092端口1、关闭SELINUX# vim /etc/selinux/config,代码内编辑内容如下:#SELINUX=enforcing #注释掉#SELINUXTYPE=targeted #注释掉SELINUX=disabled #增加# :wq! #保存退出# setenforce 0 #使配置立即生效2、配置防火墙,开启9092端口#转载 2020-07-21 16:14:59 · 1125 阅读 · 1 评论 -
Centos7上安装python3.6流程记录~~~
1、安装python3之前,需要安装它的系列依赖环境,终端执行如下语句:(如果是离线安装,比较麻烦,只有去下载下面这些包传到服务器安装了): yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel expat-devel gdbm-de...原创 2020-04-22 16:50:36 · 233 阅读 · 0 评论 -
pyspark读取文件路径 和 文件
代码:#!/usr/bin/env python# -*- coding: utf-8 -*-# @author : 何小义import sysreload(sys)import nersparksys.setdefaultencoding('utf8')import osimport json# 本地spark (ps:要改成读者的spark路径)os.envir...原创 2018-11-01 10:21:02 · 9271 阅读 · 0 评论 -
利用pyspark 读取 S3上数据
spark = SparkSession.builder.master('local').appName("hxy_test_script").getOrCreate() sc = spark.sparkContext # s3环境 sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", 你的s3ID-key)...原创 2018-11-01 10:39:53 · 3505 阅读 · 2 评论 -
利用LSTM预测时间序列未来........
最近在做一个东西,用到了LSTM时间序列预测。。。网上搜索吗,比如别人做过的比较典型的有:1.https://blog.csdn.net/aliceyangxi1987/article/details/734205832.https://www.cnblogs.com/mtcnn/p/9411597.html3.https://cloud.tencent.com/dev...原创 2019-05-24 11:12:16 · 26473 阅读 · 53 评论