sunsi_10
码龄9年
关注
提问 私信
  • 博客：93,088
    93,088
    总访问量
  • 36
    原创
  • 1,228,639
    排名
  • 1
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：北京市
  • 加入CSDN时间： 2015-12-31
博客简介：

sunsi_10的博客

查看详细资料
个人成就
  • 获得37次点赞
  • 内容获得15次评论
  • 获得33次收藏
创作历程
  • 8篇
    2019年
  • 5篇
    2018年
  • 23篇
    2017年
  • 1篇
    2016年
成就勋章
TA的专栏
  • 日常
    5篇
  • 刷题
  • Android
    2篇
  • Python
    5篇
  • Linux
    3篇
  • machine learning
    8篇
  • web
  • MATLAB
    2篇
  • NLP
    1篇
  • spark
    1篇
  • Hive
    1篇
  • BigData
    3篇
兴趣领域 设置
  • 大数据
    hadoophivesparketl
创作活动更多

新星杯·14天创作挑战营·第9期

这是一个以写作博客为目的的创作活动，旨在鼓励大学生博主们挖掘自己的创作潜能，展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴，那么，快来参加吧！我们一起发掘写作的魅力，书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛！ 注： 1、参赛者可以进入活动群进行交流、分享创作心得，互相鼓励与支持（开卷），答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询：https://www.csdn.net/qc

475人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

ssh免密登录仍需要密码

和github连接需要生成密钥在~/.ssh目录下，覆盖掉之前的私钥id_rsa。使用命令ssh -keygen -t dsa会生成id_dsa和id_dsa.pubcat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys把id_dsa.pub追加到authorized_keys中，该文件包括两个公钥rsa(github)和dsa(登录本机)...
原创
发布博客 2019.06.27 ·
1254 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

centos6.5 hive配置

因为项目需要，首先先安装mysql和hive连接。hive安装教程链接：https://www.cnblogs.com/dxxblog/p/8193967.htmlhttps://blog.csdn.net/qq_36508766/article/details/81318996一. hive数据库初始化报错报错：Error: Syntax error: Encountered...
原创
发布博客 2019.06.26 ·
722 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

hadoop项目

项目来源：https://github.com/monsonlee/BigDataproject2：分析日志1.把baidu.log上传hdfs2.本地编译TimeUtil.java和MR_WLA.java 问题：javac MR_WLA.java 报错找不到包和类 解决方式：修改/etc/profile里的classpath，添加一行expor...
原创
发布博客 2019.06.18 ·
524 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

centos无法上网排查过程

ping百度显示ping:unknown hostping网关destination host unreachable：物理连接没接好pingDNS修改159.126.8.7为114.114.114.114
原创
发布博客 2019.06.03 ·
429 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

三台主机搭建hadoop集群过程记录

步骤在一台主机上安装好hadoop伪分布式环境，作为master节点。 用硬盘对拷的方式复制到另外两台slave主机，修改主机名etc/sysconfig/network 修改etc/hosts文件 把ip和主机名对应 修改conf/slaves conf/masters文件以及其他配置文件 把master主机的hadoop文件夹复制到slave主机上 sudo scp -r /...
原创
发布博客 2019.06.03 ·
1091 阅读 ·
1 点赞 ·
0 评论 ·
5 收藏

启动hive遇到的一些error

虚拟机环境：32bitUbuntu14.hadoop2.6jdk1.8hive2.3.4没有安装MySQL使用内置的derby数据库，也就没有配置hive-site.xml文件。hive可以正常启动，进入shell界面，show tables；问题来了1.Unable to instantiate org.apache.hadoop.hive.metastore....
原创
发布博客 2019.05.23 ·
662 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

运行bin/pyspark 时显示Unsupported major.minor version 52.0错误

问题一般是spark的java版本与作业编译的java版本不一致，建议将本地java版本改为与spark一致的版本，目前集群是1.7.0。各JDK版本对应的版本数字编号如下所示：J2SE 8 = 52,J2SE 7 = 51,J2SE 6.0 = 50,J2SE 5.0 = 49,JDK 1.4 = 48,JDK 1.3 = 47,JDK 1.2 = 46,JD...
原创
发布博客 2019.05.22 ·
665 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

centos6.5 安装新版本火狐浏览器报错

报错信息[root@test firefox]# firefoxXPCOMGlueLoad error for file /usr/lib64/firefox/libmozgtk.so:libgtk-3.so.0: cannot open shared object file: No such file or directoryCouldn't load XPCOM.解决方案：...
转载
发布博客 2019.04.07 ·
1419 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

sql语句中where和having的区别

最近在项目中用到数据库的读取发现where和having的区别where：在group by 之前过滤数据having：在group by 之前过滤数据举个栗子id target_id time type 1 2 500 2 2 2 400 0 3 3 450 0 ...
原创
发布博客 2018.09.26 ·
1344 阅读 ·
1 点赞 ·
3 评论 ·
1 收藏

TypeError: fit_transform() missing 1 required positional argument ：‘X’

按照教程跑一个代码的时候报如下错误TypeError: fit_transform() missing 1 required positional argument ：‘X’原因from sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import KNeighborsClassifierss =...
原创
发布博客 2018.08.28 ·
20332 阅读 ·
24 点赞 ·
10 评论 ·
4 收藏

使用sklearn实现垃圾短信识别

import pandas as pdimport jieba data = pd.read_csv(r"E:\UCAS\labled.txt",sep = '\t',names=['label','text'])#read data and name the row#print(data.head())data['cut_message'] = data["text"].apply(l...
原创
发布博客 2018.08.21 ·
2316 阅读 ·
2 点赞 ·
0 评论 ·
5 收藏

Joint Entity and Relation Extraction Based on a hybrid neural network

发布资源 2018.07.11 ·
pdf

安装Hadoop-jdk迷思

初始化HDFS系统时显示bin/hdfs: 行 276: /usr/lib/jvm/java-1.7.0-openjdk-amd64/bin/java: 没有那个文件或目录查询一下java的版本是：openjdk version "1.8.0_151" 我觉得是JAVA_HOME出了问题想要修改它查了java安装路径用which javac查显示/etc/alternatives/javac: s...
原创
发布博客 2018.04.02 ·
563 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

在ubuntu下安装Hadoop——ssh无密登录

按照一个blog的介绍安装Hadoop但是无法实现无密登录，blog链接如下：https://blog.csdn.net/wangjia55/article/details/53160679问了一个同学他说要在～下建立不能su之后建立，cat ~/.ssh/id_rsa.pub >> authorized_keys这条命令要改成cat ~/.ssh/id_rsa.pub >&gt...
原创
发布博客 2018.04.02 ·
581 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python小操作

进入指定目录>>> import os#显示当前路径>>> os.getcwd()'/home/sunsi'# 改变路径>>> os.chdir("/home/sunsi/in action")>>> os.getcwd()'/home/sunsi/in action'列表操作listFromL
原创
发布博客 2017.12.05 ·
199 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

AttributeError: 'dict' object has no attribute 'interitems'

看《机器学习实战》时，运行2-1的程序，报错AttributeError: 'dict' object has no attribute 'interitems'，查了一下百度说是因为python2和python3存在兼容性问题要把iteritems改成items就ok了。问题语句：sortedClassCount = sorted(classCount.iteritems(),key=o
原创
发布博客 2017.11.13 ·
1487 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

TypeError: can't multiply sequence by non-int of type 'float'

如图练习格式化输出时出现错误TypeError: can't multiply sequence by non-int of type 'float'对输出进行修改，100×r加上数据类型float就可以正常输出。
原创
发布博客 2017.11.03 ·
21908 阅读 ·
0 点赞 ·
1 评论 ·
2 收藏

公式编辑器小技巧

分段函数 选择大括号然后按回车增加一行为了对齐公式输入空格Ctrl+shift+空格
原创
发布博客 2017.11.01 ·
956 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

break跳出两重循环

用感知器算法求下列模式分类的解向量w:    ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T}    ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}使用MATLAB实现该过程：x=[0,0,0,1;1,0,0,1;1,0,1,1;1,1,0,1;0,0,-1,-1;0,-1,-1,-1;0,-
原创
发布博客 2017.10.22 ·
3336 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

小错误集锦

C语言中数组的定义：int a[4]={1,2,3,4};//应该使用大括号不是中括号
原创
发布博客 2017.10.15 ·
174 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多