- 博客(15)
- 收藏
- 关注
RSS订阅原创 【Spark】【配置】Spark+Hadoop分布式配置（4台服务器）
【Spark】【配置】Spark+Hadoop分布式配置（4台服务器）首先需要安装好JDK环境和HDFS分布式环境，hdfs配置可查看 Hadoop完全分布式配置注：所有设备上的spark配置的文件路径必须一致，jdk和python版本也需要一致。因此最好放在/usr/或者/home/下面，不然需要在每个设备上分别创建同样路径的文件夹。python可以使用conda下的环境。本文使用的4台server，ip分布如下：masterworker10.57.175.1110.5
2020-12-01 16:52:02
536
原创 【Hadoop】【配置】Hadoop完全分布式配置（4台服务器）
【Hadoop】【配置】Hadoop完全分布式配置（4台服务器）Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。本文使用了完全分布式模式，配置了1namenode+1secondaryNamenode+4datanode结构的hadoop框架。注：所有设备上的hadoop配置的文件路径必须一致，jdk版本也需要一致。因此最好放在/
2020-12-01 16:13:56
1589
原创 【SSH免密登录】ssh免密设置总是无效？这里有完整的配置步骤
SSH免密码登录步骤我们假设有两台机器A, B，我们需要实现机器A SSH免密码登录到B， 这时我们需要现在机器A上生成公钥私钥， 也就是我们上面提到的"ssh-keygen -t rsa"。ssh-keygen -t rsa我们需要在机器A上生成一份authorized_keys， 用于存储每台机器A的公钥。cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys我们还需要改变authorized_keys的权限，使之能够拷贝到其
2020-11-26 15:04:20
3906
原创 【python】【数据处理】画多维数据分布图
小姿势：Matplotlib中%matplotlib inline是什么、如何使用 https://blog.csdn.net/liangzuojiayi/article/details/78183783List item
2019-10-18 10:24:46
8478
原创 在MAC上打开服务器上的jupyter notebook
服务器端：安装好anaconda之后：jupyter notebook –generate-config进入python，生成密码from notebook.auth import passwdpasswd()Enter password:Verify password:sha1:8d628fff7b12:274eca57…vi ~/.jupyter/jupyte...
2019-09-01 15:48:56
1847
原创 【python】使用python对csv表格某一列的重复数据去重
import pandas as pdimport csvl = list()with open('Result.csv','r') as read: reader = csv.reader(read) for i in reader: l.append(i)df = pd.DataFrame(l)df.drop_duplicates(subset=3,...
2019-08-22 13:19:24
7728
原创 【python】【爬虫】妖精的爬虫学习之路——scrapy入门
创建项目：在要放代码的位置，输入scrapy startproject [ProjectName]项目结构如下：
2019-04-27 14:39:18
167
原创 【python】【爬虫】妖精的爬虫学习之路——用requests下载百度图片
import requestsimport osdef getPages(keyword,pages): params = [] for i in range(0, pages*30 + 30, 30): params.append({ 'tn': 'resultjson_com', ...
2019-04-01 22:40:08
202
原创 【python】【爬虫】妖精的爬虫学习之路——基础入门
一.基本原理爬虫即网络爬虫，英文是Web Spider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提...
2019-03-13 17:50:49
369
原创 【C++】【python】【kafka】使用C++调用python函数向kafka发送消息
1.python操作kafka的代码：import sysimport timeimport jsonfrom kafka import KafkaProducerfrom kafka import KafkaConsumerfrom kafka.errors import KafkaErrorKAFAKA_HOST = "127.0.0.1"KAFAKA_PORT = 90...
2019-03-04 16:24:02
518
原创 【kafka】简单粗暴从0开始在linux上安装kafka并简单使用
从零开始安装kafka1.下载：http://kafka.apache.org/downloads个人安装过程中，下载source下的版本在运行时会出现以下错误，改为Binary 即可成功运行Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain2.安装：ka...
2019-02-19 18:07:59
792
原创 【leetcode解题历程与思考】19.Remove Nth Node From End of List
这个问题其实是比较简单的，我的思路是，把最后N+1个节点保存下来，链表遍历完之后，直接操作之前保存节点的最早一个即可。PS：经试验，python里面的List结构，存是的指针，而不是COPY，所以可以直接对list进行操作来改变原始数据。我的代码：class ListNode: def __init__(self, x): self.val = x ...
2019-01-17 15:48:04
119
原创 【docker】docker基础概念与简单python程序在docker上的运行（win10安装）
本篇为个人学习docker的总结与记录，仅代表个人观点1. docker是一种基于linux内核，使用go语言开发的一款开源容器，可以让运行的程序与宿主（主机）隔离2.docker的优势：高效利用系统资源，不需要安装虚拟机启动时间快（对比虚拟机）一致的运行环境：当你的程序需要跑在其他设备上，可以把整个docker打包过去持续交付和部署：开发人员可以通过 Dockerfile 来进行镜...
2019-01-16 16:05:23
1206
2
原创 【python】【socket】pysctp基本应用与介绍
https://www.jianshu.com/p/1d51d17645bc深度好文，忍不住收藏，根据该指导和pysctp包给的test文件写的 sever和client的代码已在本机(server和client地址都为127.0.0.1)调通代码附上（未经优化删减，非常原始有很多冗余的代码）：server 端：#!/usr/bin/env python# -*- coding: utf...
2019-01-14 16:06:50
1871
原创 【leetcode解题历程与思考】15. 3Sum 【python】
最开始的思路，是希望尽量不要重复遍历，第一次的解法是：def threeSum(nums): """ :type nums: List[int] :rtype: List[List[int]] """ nums.sort() if nums[0] > 0: return [] elif nums[len(n
2019-01-02 13:42:43
184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人