- 博客(16)
- 收藏
- 关注
RSS订阅
原创 An AI compute of cities based on Distributed-Platform and Distributed-Databases(天池地铁流量预测)
摘要在日益城市化的今天，城市居民出行问题逐渐成为衡量一个城市现代化能力的标准；城市出行方式多元化的同时，也对各交通系统的调度运营能力提出了更高的要求：如何提高运营效率，如何运用有限的安保力量进行有效的安检部署等问题一直在阻挠着城市交通的发展。An AI compute of cities based on Distributed-Platform and Distributed-Databas...
2019-06-06 08:50:34
4870
8
原创 在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验
一、实现master与slave之间无密码连接分别在master及slave上生成rsa密钥：mkdir ~/.sshcd ~/.sshssh-keygen -t -rsa一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中scp id_rsa.pub h1@对方机器IP：~/....
2019-04-09 18:14:56
2674
8
原创 Python Log封装
import osimport loggingfrom logging import handlersimport syssys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))LOG_ROOT = os.path.dirname(os.path.abspath('.')) + '/log'#输出日志到控制台def get_logger(level=logging.DEBUG):
2020-10-27 09:22:08
182
原创 基于分布式系统的Online Judge系统
摘要社会经济迅猛发展之下，计算机科学与技术的应用范围更加广阔，并且逐渐成为生产与生活中的重要组成部分，逐渐对人们的日常生活产生潜移默化的影响。另外，计算机科学与技术的发展也在很大的程度上促进了社会的发展。因此，“IT Skill”正在逐渐成为每一个人的必备技能。本课题通过在云端集群部署HaHadoop Online Judge系统，支持多种语言，由网页形式展现给IT爱好者，实时反馈判题结果；并且，本OJ系统内置技术论坛，方便IT爱好者互相交流。同时，本课题结合现实情况，从现实出发，对系统整体架构进行设
2020-09-26 09:35:58
418
原创 关于IDEA中Maven改为国内镜像源的问题
小编最近在学习Flink的相关知识；但是由于Maven在国内被减速了，导致依赖什么的加载很慢，于是便把源换为国内阿里。网上有许多关于换源的教程，有在.m2，也有在Maven3里面改settings文件的，也许有人会头晕；其实在IDEA里面直接查看配置文件即可，既清楚又方便，适合对配置文件以及文件系统不太了解的小白操作。我们在我们的project上直接右击，会找到一个 “Open setting...
2020-04-04 08:41:50
1584
原创 超时代无可比拟的数据可视化工具--TZLEAU
小编的团队最近参加了天池上的一个新人赛–城市计算AI挑战赛，该比赛是对杭州地铁的未来某日客流量进行预测，训练数据集包含了25天的地铁刷卡数据。在对数据清洗筛选时，我们一开始使用了Tableau进行可视化制图，但是由于Tableau不支持十分钟间隔划分数据并且操作繁琐，所以我们萌生了一个想法——自己写一个可视化工具，并将它开源了出来，欢迎大家交流！此可视化工具我们使用JavaScript编写，使...
2019-05-28 13:25:16
772
5
原创 阿里云部署RabbitMQ异常问题处理（"PLAIN login refused: user 'guest' can only connect via localhost",）
小编最近在学习RabbitMQ的相关知识，并在自己的两台阿里云服务器上做了相关实验，但是实验做的一波三折～～～小编现在一台服务器上做了一个伪分布的实验，一切OK ！接着，小编就在两台服务器之间使用RabbitMQ进行实验，出错了：Traceback (most recent call last): File "receive.py", line 4, in <module>...
2019-05-20 17:56:10
6668
原创 Java RMI简易Hello World实现
Hello.java 接口package example.hello;import java.rmi.Remote;import java.rmi.RemoteException;public interface Hello extends Remote{ String sayHello() throws RemoteException;}Server.jav...
2019-05-13 16:39:11
297
原创 简易并发式服务器
客户端见UNIX网络编程，简易客户端及服务端（socket）并发式服务器可理解为父进程fork一个子进程，然后将需要执行的操作交给子进程，父进程继续监听。#include<sys/socket.h>#include<bits/types.h>#define SA struct sockaddr#define MAXLINE 4096#define LISTEN...
2019-04-29 14:42:13
134
原创 UNIX网络编程，简易客户端及服务端（socket）
实验环境：两台阿里云服务器客户端：#include<errno.h>#include<unistd.h>#include<arpa/inet.h>#include<string.h>#include<netinet/in.h>#include<stdio.h>#include<stdlib.h>#...
2019-04-15 16:19:52
401
1
原创 在多台阿里云服务器上进行Spark部署及wordcount实验
一、安装Scala1.到官网下载Scala安装压缩包，本次试验下载的为2.12.8版本。2.h1用户下新建Scala文件夹，并将下载好的压缩包解压缩到Scala文件夹中。3.配置 /etc/profile文件4.source /etc/profile使环境变量配置生效。二、安装Spark1.到官网下载Spark安装压缩包，本次试验下载的为2.4.0版本。2.在h1用户下新建Spar...
2019-04-10 19:12:03
676
原创 Python3.7实现Logistic逻辑回归（梯度上升）
import numpy as npimport matplotlib.pyplot as pltdef loadData(): #打开读入数据 dataMat = [] #样本数据列...
2019-04-09 18:37:15
461
原创 阿里云服务器上HBase环境配置及基本操作命令实践（含Zookeeper安装）
JDK及Hadoop等环境同https://blog.csdn.net/weixin_42047699/article/details/89157347一、安装Zookeeper1.到官网下载Zookeeper压缩包，本实验下载的为zookeeper-3.4.9版本。2.在h1用户目录下新建Zookeeper文件夹，并将下载好的压缩包解压缩到Zookeeper文件夹中。3.切换到Zooke...
2019-04-09 18:23:32
1116
原创 使用阿里云服务器搭建Hadoop分布式集群注意事项
小编以前在学习Hadoop时使用了两台阿里云服务器搭建了一个分布式集群，今天就来总结一下在阿里云上搭建集群与普通方式（n台电脑）的区别即注意事项！1./etc/hostname必须改，master改为master，slave1改为slave1等等。2./etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；特别注意，master中的hosts中的ma...
2019-04-03 18:42:11
646
原创 解决Anaconda中的包在IDLE里不能使用的问题（ModuleNotFoundError: No module named 'xxxxxxxx'）
小编最近在学习大数据分析方法的有关知识，想使用python处理一些数据，但是在使用python想读入sql数据时，shell出现了报错：`ModuleNotFoundError: No module named 'sqlalchemy'`（sqlalchemy是python下的一个包），但是这个包在安装Anaconda时已经安装好了（小编在IDLE中使用sklearn的包时也遇到了相同的情况...
2019-04-02 19:16:58
7418
9
原创 Hadoop专章--SSH （阿里云服务器）
首先我们先来介绍一下Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它...
2019-03-19 21:26:21
265
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人