twitteR 实例

最新推荐文章于 2022-10-18 14:40:34 发布
最新推荐文章于 2022-10-18 14:40:34 发布
阅读量336 收藏
点赞数
文章标签： r语言 大数据 php
=============================================
利用R来分析tweets从而预测网民对各个航线的满意度
R by example: mining Twitter for consumerattitudes towards airlines
=============================================
参考：http://www.inside-r.org/howto/mining-twitter-airline-consumer-sentiment
======================
1. 工业上关于各个行业的满意度调查：
======================

 

Airlines
 Base-
line		9596979899000102030405060708091011Previous
Year
%
Change		First
Year
%
Change
Southwest7876767674727070747573747476798179812.53.8
All OthersNM70747062676364727473747475757775761.38.6
Airlines726969676563636166676666656362646665-1.5-9.7
Continental676466646664626768686770676962687164-9.9-4.5
American7071716267646362636766646260626063630.0-10.0
United7167706865626259646364616356565660611.7-14.1
US Airways726766686561626063646257626154596261-1.6-15.3
Delta777267696568666166676765645960646256-9.7-27.3
Northwest Airlines6971676463536256656464646161575761#N/AN/A

======================

 2. Tweets上都发生了什么：

======================

RT @dave_mcgregor: Publicly pledging to never fly @delta again. The worst airline ever. U have lost my patronage forever due to ur incompetence

Completely unimpressed with @continental or @united. Poor communication, goofy reservations systems and all to turn my trip into a mess.

@United Weather delays may not be your fault, but you are in the customer service business. It's atrocious how people are getting treated!

We were just told we are delayed 1.5 hrs & next announcement on @JetBlue - “We're selling headsets.” Way to capitalize on our misfortune.

...
复制代码

======================

3. Game Plan
======================

======================

4. 抓取和各个航线有关的twitter

======================

这里用的是Jeff Gentry的 twitteR package (对于更加一般性的网页抓取，R有其他的packages： XML and RCurl packages )

> # load the package
> library(twitteR)
利用 @信息 和 时间控制数量 来实现抓取
> # get the 1,500 most recent tweets mentioning ‘@delta’:
> delta.tweets = searchTwitter('@delta', n=1500)
#这里tweets是个list, 里面的objection是 object of type “status” from the “twitteR” package. 
#A “list” in R is a collection of objects and its elements may be named or just numbered.
#“[[ ]]” is used to access elements.

> length(delta.tweets)
[1] 1500
> class(delta.tweets)
[1] "list"

–> tweet = delta.tweets[[1]]
–> class(tweet)
–[1] "status"
–attr(,"package")
–[1] "twitteR
 

•The help page (“?status”) describes some accessor methods like getScreenName() and getText() which do what you would expect:

–> tweet$getScreenName()
–[1] "Alaqawari"
–> tweet$getText()
–[1] "I am ready to head home. Inshallah will try to get on the earlier flight to Fresno. @Delta @DeltaAssist"
复制代码

 


 ======================
 5.获得抓取到的tweet对应的text
====================== 
> delta.text = laply(delta.tweets, function(t) t$getText() )
 这里实现的是对一个list中的每个objection迭代实现一个相同的函数操作
> length(delta.text)[1] 1500
> head(delta.text, 5)
[1] "I am ready to head home. Inshallah will try to get on the earlier flight to Fresno. @Delta @DeltaAssist"
[2] "@Delta Releases 2010 Corporate Responsibility Report - @PRNewswire (press release) : http://tinyurl.com/64mz3oh"
[3] "Another week, another upgrade! Thanks @Delta!"
[4] "I'm not able to check in or select a seat for flight DL223/KL6023 to Seattle tomorrow. Help? @KLM @delta"
[5] "In my boredom of waiting realized @deltaairlines is now @delta seriously..... Stil waiting and your not even unloading status yet"
复制代码
 ======================

6. 导入情感词

======================

1. Download Hu & Liu’s opinion lexicon:
•
• http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html
（search ‘opinion lexicon’）

 
2. Loading data is one of R’s strengths. These are simple text files, though they use “;” as a comment character at the beginning:
• 
> hu.liu.pos = scan('../data/opinion-lexicon-English/positive-words.txt', what='character', comment.char=';')
> hu.liu.neg = scan('../data/opinion-lexicon-English/negative-words.txt', what='character', comment.char=';')
复制代码
 
3. Add a few industry-specific and/or especially emphatic terms: 
> pos.words = c(hu.liu.pos, 'upgrade')
> neg.words = c(hu.liu.neg, 'wtf', 'wait',
'waiting', 'epicfail', 'mechanical')
复制代码
======================
7.定义一个利用情感词来得到情感分数的一个简单方法：
====================== 
score.sentiment = function(sentences, pos.words, neg.words, .progress='none')
{
    require(plyr)
    require(stringr)

# we got a vector of sentences. plyr will handle a list or a vector as an "l" for us
    # we want a simple array of scores back, so we use "l" + "a" + "ply" = laply:
    scores = laply(sentences, function(sentence, pos.words, neg.words) {

# clean up sentences with R's regex-driven global substitute, gsub():
        sentence = gsub('[[:punct:]]', '', sentence)
        sentence = gsub('[[:cntrl:]]', '', sentence)
        sentence = gsub('\\d+', '', sentence)
# and convert to lower case:
        sentence = tolower(sentence)

# split into words. str_split is in the stringr package
        word.list = str_split(sentence, '\\s+')
# sometimes a list() is one level of hierarchy too much
        words = unlist(word.list)

# compare our words to the dictionaries of positive & negative terms
        pos.matches = match(words, pos.words)
        neg.matches = match(words, neg.words)

# match() returns the position of the matched term or NA
        # we just want a TRUE/FALSE:
        pos.matches = !is.na(pos.matches)
        neg.matches = !is.na(neg.matches)

# and conveniently enough, TRUE/FALSE will be treated as 1/0 by sum():
        score = sum(pos.matches) - sum(neg.matches)

return(score)
    }, pos.words, neg.words, .progress=.progress )

    scores.df = data.frame(score=scores, text=sentences)
return(scores.df)
}
复制代码

======================

8. 利用上面定义的方法来得到text对应的情感分数：

======================

Example 1：rand text
> sample = c("You're awesome and I love you",
"I hate and hate and hate. So angry. Die!",
"Impressed and amazed: you are peerless in your achievement of unparalleled mediocrity.")
> result = score.sentiment(sample, pos.words, neg.words)
> class(result)
[1] "data.frame"
> result$score
[1]  2 -5  4
#data.frames hold tabular data so they consist of columns & rows which can be accessed by name or number.Here, “score” is the name of a column.
Example 2： several real tweets
–> score.sentiment(c("@Delta I'm going to need you to get it together. Delay on tarmac, delayed connection, crazy gate changes... #annoyed",
–"Surprised and happy that @Delta helped me avoid the 3.5 hr layover I was scheduled for.  Patient and helpful agents. #remarkable"), pos.words, neg.words)$score
–[1] -4  5
 
–> result
•      score                                                                                   text
–1     2                                                         You're awesome and I love you
–2    -5                                               I hate and hate and hate. So angry. Die!
–3     4 Impressed and amazed: you are peerless in your achievement of unparalleled mediocrity.
–> result[1,1]
–[1] 2
–> result[1,'score']
–[1] 2
–> result[1:2, 'score']
–[1]  2 -5
–> result[c(1,3), 'score']
–[1] 2 4
–> result[,'score']
–[1]  2 -5  4
  
Example 3： Delta tweets：just feed their text into score.sentiment():
–> delta.scores = score.sentiment(delta.text, pos.words, neg.words, .progress='text')#Progress bar provided by plyr
–|==================================================| 100%
 
#Let’s add two new columns to identify the airline for when we combine all the scores later:
–> delta.scores$airline = 'Delta'
–> delta.scores$code = 'DL’
 
复制代码

======================

9. 利用直方图看结果：

======================

# R’s built-in hist() function will create and plot histograms of your data:
-> hist(delta.scores$score)
 
       
 
        

            #ggplot2 is an alternative graphics package which generates more refined graphics: 
        
 
        

            –> qplot(delta.scores$score) 
        
 
        
 
         
 
        
 
        

            
        
 
        

            # 结合所有的航班数据来看比较结果. 
         
 
          

              # combine all the results into a single “all.scores” data.frame: 
          
 
          

              
           

             -> all.scores = rbind( american.scores, continental.scores, delta.scores, jetblue.scores, southwest.scores, united.scores, us.scores ) # rbind() combines rows from data.frames, arrays, and matrices 
           
 
           
 
            

                
            
 
            

              #ggplot2 implements “grammar of graphics”, building plots in layers: 
            
 
            

              –> ggplot(data=all.scores) + # ggplot works on data.frames, always 
            
 
            

              –     geom_bar(mapping=aes(x=score, fill=airline), binwidth=1) + 
            
 
            

              –     facet_grid(airline~.) + # make a separate plot for each airline 
            
 
            

              –     theme_bw() + scale_fill_brewer() # plain display, nicer colors 
            
 
            

              #ggplot2’s faceting capability makes it easy to generate the same graph for different values of a variable, #in this case “airline”. 
             
 
              

                  
              
 
             
 
            
 
            

                
             
 
            
 
           
 
          
 
         
 
        
 
       
 
       
 
        复制代码 
       
 
      
 
     
 
     
 
      
 ======================
 
      
10. 提高数据纯度： Ignore the middle
 
      
======================
 
     
 
     

         
     
 
     
 
      
 
       
#Let’s focus on very negative (<-2) and positive (>2) tweets:
> all.scores$very.pos = as.numeric( all.scores$score >= 2 )
> all.scores$very.neg = as.numeric( all.scores$score <= -2 )

#For each airline ( airline + code ), let’s use the ratio of very positive to very negative tweets as   #the overall sentiment score for each airline:
> twitter.df = ddply(all.scores, c('airline', 'code'), summarise, pos.count = sum( very.pos ), neg.count = sum( very.neg ) )
> twitter.df$all.count = twitter.df$pos.count + twitter.df$neg.count
> twitter.df$score = round( 100 * twitter.df$pos.count /
twitter.df$all.count )
#Sort with orderBy() from the doBy package:
> orderBy(~-score, twitter.df)
 
       
 
       
 
        复制代码 
       
 
      
 
     
 
     

        ====================== 
     
 
     

       11. 与真实值的比较 
     
 
     

       ====================== 
     
 
     

       第一步：利用XML包来从网页提取表格数据 
     
 
     
 
      
 
       
# XML package provides amazing readHTMLtable() function:
> library(XML)
> acsi.url = 'http://www.theacsi.org/index.php?option=com_content&view=article&id=147&catid=&Itemid=212&i=Airlines'
> acsi.df = readHTMLTable(acsi.url, header=T, which=1, stringsAsFactors=F)
> # only keep column #1 (name) and #18 (2010 score)
> acsi.df = acsi.df[,c(1,18)]
> head(acsi.df,1)
                     10
1 Southwest Airlines 79

# Well, typing metadata is OK, I guess... clean up column names, etc:

> colnames(acsi.df) = c('airline', 'score')
> acsi.df$code = c('WN', NA, 'CO', NA, 'AA', 'DL', 
'US', 'NW', 'UA')
> acsi.df$score = as.numeric(acsi.df$score)
 
       
 
        复制代码 
       
 
      
 
     
 
     

       第二步：进行数据上的比较 
     
 
     
 
      
 
       
#merge() joins two data.frames by the specified “by=” fields. You can specify ‘suffixes’ to rename confl#icting column names:

> compare.df = merge(twitter.df, acsi.df, by='code', 
suffixes=c('.twitter', '.acsi'))
 
       
 
       
#Unless you specify “all=T”, non-matching rows are dropped (like a SQL INNER JOIN), and that’s what happ#ened to top scoring JetBlue.

#With a very low score, and low traffic to boot, soon-to-disappear Continental looks like an outlier. Le#t’s exclude:

> compare.df = subset(compare.df, all.count > 100)
 
       
#用图形看
 
       
 
        

          #ggplot will even run lm() linear (and other) regressions for you with its geom_smooth() layer: 
        
 
        

            
        
 
        

          -> ggplot( compare.df ) + 
        
 
        

           geom_point(aes(x=score.twitter, y=score.acsi, color=airline.twitter), size=5) + 
        
 
        

           geom_smooth(aes(x=score.twitter, y=score.acsi, group=1), se=F, method="lm") + 
        
 
        

           theme_bw() + 
        
 
        

           opts(legend.position=c(0.2, 0.85)) 
        
 
        
 
         
 
        
 
       
 
       
 
        复制代码 
       
 
      
 
     
 
    
 
   
 
   

       
   
 
  
 
 
 
 
====================
 
 
用twitteR包对中文推特用户的抽样分析
 
 
=======================
 
 
 
 
 

     
 
 
 
 
  
 
   
 
  
 社会化媒体的信息量巨大，一向是数据分析的热门领域。Twitter作为最为火爆的微博网站吸引了大量用户，也蕴含了大量信息。Twitter的数据信息其实包括两个部分，一个是发推内容，一个是发推用户。本文希望对中文twitter用户的情况进行一些粗浅的分析，算是抛砖引玉。 
  
 
  
较早的时候就有人作过Twitter中文 
  用户调查，它是以问卷的形式收集了500人的数据，得出了一些有趣的结论。本例则是希望利用twitteR包获取更多中文Twitter用户样本加以分析。首先遇到的第一个问题就是如何分辨出中文用户，笔者是从 
  这篇博文获得启发，思路就是先从一位中文推特界的大佬入手，那么其粉丝应该基本上就是中文用户了。本例中选择的对象是“连岳”（lianyue），他的粉丝数达到了八万人。可能会问为何不选有十二万粉丝的“艾未未”？因为他比较国际化一些，其粉丝有不少是外国友人。 
  
 
   
  
 
  
我们首先加载twitteR包，然后获取“用户”对象，从lianyue的follower中抓取5000名粉丝。这一步要注意，如果你的位置正好在和谐社会内，那需要VPNFQ才能抓到数据，而且得花点时间。之后将获得的数据转为数据框格式方便处理。 
  
 
  
 
   
 
    
library(twitteR)
lianyue <- getUser('lianyue')
follow.lian <- lianyue$getFollowers(n=5000)
df.lian <- do.call('rbind',lapply(follow.lian,as.data.frame))
在上面这个数据中有四个可用于研究的变量，分别是：
 
   
 
  
 
  
  • statusesCount 发推数
  • followersCount 粉丝数
  • friendsCount 朋友数
  • created 开户时间
 如果将上面的数据简单绘图观察就会发现存在异常点（例如个别话唠和大佬），当然你也可以对这个异常点做进一步研究。但本例只关注“乌合之众”，在去除异常点后仍有4989个样本，存入子集变量df.sub中。再将其中的开户时间转为两种方便处理的格式。 
  
 
  
 
  
df.sub <- subset(df.lian,friendsCount<2300 & followersCount<3000 & statusesCount<10000)
df.sub$time <- as.Date(df.sub$created)
df.sub$ntime <- as.numeric(df.sub$time)
 
  
对于手头的数据，我们跳过描述性统计，首先观察这些用户的开户时间是如何分布的。加载ggplot2包绘制条形图观察。可以看到在2011年下半年新开用户出现了飙升，是FQ手段有突破？还是国家队大规模入驻？有兴趣的同学可以进一步挖掘其原因。 
  
 
  
 
  
library(ggplot2)
p <- ggplot(df.sub,aes(x=time))
p + geom_bar(fill='red',colour='black',binwidth=30)
 
  
 
  
 
    
  
 第二个我们想绘制这些变量的散点图观察之间的关系。除了X和Y轴表示两个数值变量之外，点的大小表示了发推的数量，颜色的不同表示了开户时间，散点越大表示发推越多，颜色偏兰表示开户早，偏红表示开户晚。 
  
 
  
 
  
p <- ggplot(data=df.sub,aes(x=friendsCount,y=followersCount))
p + geom_point(aes(size=statusesCount,colour=ntime),alpha=0.8)
 
  
 
  
 
    
  
 从上图中可以观察到大部分用户聚集在左下角，有较多粉丝的用户似乎多半是发推较多，或是开户较早。为了验证这一点我们使用加性模型试一下。关于加性模型可以参照笔者之前的一篇 
  博文。 
  
 
  
 
  
library(mgcv)
model <- gam(followersCount~s(friendsCount)+s(statusesCount)+s(ntime),data=df.sub)
par(mfrow=c(1,3))
plot(model,se=T)
 
  
 
  
 
    
  
 
 
 
 

   我们来看最后的结果，第一个图显示你fo的人越多，那么被fo的可能性也越大，不过也有例外。第二个图显示你发推越多，被fo的可能性也越大，但没人喜欢话唠，话太多就会被unfo掉，关键还是要看发推质量。第三个图大致显示开户较早的被fo的较多。估计第一批用twitter的都是黄埔一期的精英吧。 
  
 
  
本文只抽取了数千个数据的样本来分析中文twitter用户，抽样方法不一定科学，所以其样本不一定具有代表性。有兴趣的同学对于这些样本还可以划分细类做进一步分析，或是利用聚类分析等其它方法得出更有趣的结论。 
 
 
 

     
 
 
 
 
  
=====================
 
  
如何分析twitter中包含的投资者情绪
 
  
=========================
 
  

      
  
 
  
 
   
 
    
 
   
 
   投资者情绪(investor sentiment)是反映投资者心理的重要因素，它是一种反映投资者的投资意愿或预期的市场人气指标，对证券市场的运行和发展有很大的影响。以往对投资者情绪指数的衡量主要通过两种方式，一个是通过问卷调查等方式直接测量，另一个是通过分析有关交易数据来间接测量。 
   
 
   
随着社会化媒体的盛行，Twitter上的推文也可以被看作是一种情绪指标。英国伦敦基金公司Derwent Capital Markets就利用Twitter上发表的推文，统计大众情绪来预测股市走势，在2011年全球市场低迷之中，还能维持1.85%报酬率，领先S&P500指数。 
   
 
    
   
本例完全借助 
   Mining Twitter for Airing Consumer Sentiment这篇文章（该文获得了最近的R商业应用大赛第二名）的代码和思想来衡量投资者对S&P500的情绪。本例分析简单粗陋，并未考虑推文的时间因素，以及和股市的交互涟漪效应，Just for fun。 
   
 
   
 
    
 
     
#首先载入twitterR包，再以sp500为关键词搜索1500条推文
library(twitteR)
sp500 <- searchTwitter('sp500',n=1500)
#再加载plyr包，利用其中的向量化操作函数将所有的推文文本提取出来。
library(plyr)
sp.text <- laply(sp500,function(t) t$getText())
#从这个地址将包含正面和负面情绪词汇的文本包下载到本地 http://www.cs.uic.edu/~liub/FBS/opinion-lexicon-English.rar
pos <- scan('d:/positive-words.txt',what='character',comment.char=';')
neg <- scan('d:/negative-words.txt',what='character',comment.char=';')
pos.words <- c(pos, 'up','bull')
neg.words <- c(neg, 'down','bear')
#最后利用score.sentiment函数将推文与情绪文本进行比对，结果存于result变量中，其中score保存着各推文出现代表不同情绪的词频数。score为正表示正面情绪，为负表示负面情绪。
result <- score.sentiment(sp.text,pos.words,neg.words)
data=result$score
table(factor(data))
 
    
 
   
 
  
 
  

    -5  -3  -2  -1   0   1   2   3   4   5 
   
4  13  38 113 813 120  34   2   3   1 
   
从上面的结果可以看到，基本上对于sp500的情绪持中性，没有太大的正面或负面情绪。当然Derwent系统则更为精密强悍，它随机追踪Twitter上10%的推文，也就是每天统计1亿则推文，然后采取两套方法整理数据：1. 比较正面评价和负面评价，2. 利用Google程序确定六种情绪，冷静、警觉、相信、活跃、友善和高兴。系统开发者Johan Bollen教授能准确预测道琼指数走势，准确率高达87.6%。 
   
 
   
想要利用“情绪指数”预测股市走势并不只有Derwent，彭博社和市场预测公司Wise Window也开始研究社群网站上的对话和股价的关系，不管是Twitter、Facebook、或是Blog全部都纳入研究，以“产业”为搜集信息的主题，例如搜集大家谈论“汽车”的观点，藉此预期福特或通用汽车的股市行情。WiseWindow执行长Sid Mohasseb表示，这项研究就是以“人”为主，当你能够抓住人们说：我想要这个、我不要那个的时候，就可以预期这些选择将会带来哪些公司的营收，我们做的就是加快分析。 
  
 
 
 
 

     
 
 
 
 
  
=================
 
  
在Twitter上你应该关注谁？
 
  
====================
 
  

      
  
 
  
 
   
 
     
   
 
   社交媒体中的 
   数据挖掘是当今比较热门的领域之一。各平台公司都想从用户的数据中寻找其偏好特征，提供个性化的服务。其中一种服务就是在微博平台中向用户推荐值得关注的对象名单。如果用户已经使用了一段时间的服务并关注了一些对象，那么有一种简单思路可以为其提供更多的关注对象。 
   
 
   
俗语说：人以群分，物以类聚。朋友之间基本上是臭味相投的，再进一步延伸， 
   朋友的朋友也应该能成为新的朋友。那么进行推荐服务的方法可以这样来实现：先找出用户已经关注朋友的名单，再进一步找出每个朋友所关注的对象，再根据频数作为推荐的权重。下面我们用Twitter为例用R语言来实现这种思路。 
   
 
    
   
先从笔者的推号入手（@xccds），提取了100名关注对象的信息。然后对每个关注对象再提取他的100名关注对象信息，合并后制成频数表，剔除笔者已经关注过的对象。排序后保留频数最高的前五名，绘制条形图以显示最后的推荐结果。查了一下这几位的资料，感觉还比较靠谱，值得follow。各位经常上推的朋友也不妨一试。 
   
 
   
 
   
 
     
   
 
   
注：由于Twitter API有限制，所以并未完全获得所有一万条信息，上图是根据大约两千条信息绘制的。 
   
 
   
 
   R代码如下： 
   
 
   
 
    
 
     
rm(list=ls())
library(twitteR) #加载包
myid <- getUser('xccds') #获取用户信息
#取得100名关注对象的用户名
myfo <- twListToDF(myid$getFriends(n=100))$screenName  
ffo <-list()
record <- character()
for (i in 1:100){
  user <- getUser((myfo[i]))  #获取关注对象的信息
  #取得关注对象的关注对象
  ffo <- twListToDF(user$getFriends(n=100))$screenName
  record <-  c(record ,as.character(ffo))
}
# 生成频数表
table.record <- table(record)
# 从表格转化为数据框
data = as.data.frame(table.record,stringsAsFactors=F)
# 将已经关注的对象从中删除
data <- data[data$record%in%setdiff(record,myfo),]
# 选择频数最高的五人
data <- data[order(data$Freq,decreasing=T)[1:5],]
# 加载包并绘制条形图
library(ggplot2) 
p <- ggplot(data,aes(record,Freq))
p + geom_bar(aes(fill=Freq))+coord_flip()
 
    
 
   
 
  
 
  
====================
 
  
关于Jeremy Lin的twitter词云
 
  
========================
 
  

      
  
 
  
 
   

       
   
 标签云或词云 
   (word cloud)是关键词的视觉化描述，用于汇总用户生成的标签或一个网站的文字内容。word cloud实际上是将文档包含的词汇频率表进行了可视化。这些词汇的重要程度主要通过改变字体大小或颜色来表现。这项技术常用于具体化、形象化一些热门话题或文本内容。好吧，闲话少说，趁着Jeremy Lin的热度尚在，我们来看看在推特上人们谈到他的时候会提到哪些关键的词汇。 
   
 
   

       
   
 
   

       
   
 
   
 
     
   
 
    
   
看看上面的词云图吧。恩...所属的knicks队名出现频率高是应该的，网络上流传的外号linsanity真得是很热啊，还有不少将他和kobe bryant相比较。剩下的各位慢慢研究吧。 
   
 
   
 
    
 
     
R代码：
 
     
#载入用到的包
library(twitteR)
library(tm)
library(wordcloud)
 
#设定搜索标签，提取1000个推文并转化为数据框
searchTerm = '#Jeremy Lin'
raw.data <- searchTwitter(searchTerm,n=1000)
tw.df <- twListToDF(raw.data)
 
#为了回避一些推文中的网址，用文本函数gsub加以去除
Remove <- function(tweet) {
  gsub("http+", "", tweet)
}
tweets <- as.vector(sapply(tw.df$text, Remove))
 
#用tm包中的Corpus读取文本并生成语料库对象，再对其进行预处理
tw.corpus <- Corpus(VectorSource(tweets))
tw.corpus <- tm_map(tw.corpus, stripWhitespace)
tw.corpus <- tm_map(tw.corpus, removePunctuation)
tw.corpus <- tm_map(tw.corpus,tolower)
tw.corpus <- tm_map(tw.corpus,removeWords,stopwords('english'))
 
#生成词频矩阵
doc.matrix <- TermDocumentMatrix(tw.corpus,control = list(minWordLength = 1))
dm <- as.matrix(doc.matrix)
v <- sort(rowSums(dm),decreasing=T)
d <- data.frame(word=names(v),freq=v)
 
#去除Jeremy和Lin这两个词后，生成最后的词云
data <- d[c(-1,-2),]
mycolors <- colorRampPalette(c("white","red"))(200)
wc <-wordcloud(data$word,data$freq,min.freq=15,colors=mycolors[100:200])
 
    
 
   
 
  
 
  

      
  
 
  
 
   
 
     
   
 
   社交媒体中的 
   数据挖掘是当今比较热门的领域之一。各平台公司都想从用户的数据中寻找其偏好特征，提供个性化的服务。其中一种服务就是在微博平台中向用户推荐值得关注的对象名单。如果用户已经使用了一段时间的服务并关注了一些对象，那么有一种简单思路可以为其提供更多的关注对象。 
   
 
   
俗语说：人以群分，物以类聚。朋友之间基本上是臭味相投的，再进一步延伸， 
   朋友的朋友也应该能成为新的朋友。那么进行推荐服务的方法可以这样来实现：先找出用户已经关注朋友的名单，再进一步找出每个朋友所关注的对象，再根据频数作为推荐的权重。下面我们用Twitter为例用R语言来实现这种思路。 
   
 
    
   
先从笔者的推号入手（@xccds），提取了100名关注对象的信息。然后对每个关注对象再提取他的100名关注对象信息，合并后制成频数表，剔除笔者已经关注过的对象。排序后保留频数最高的前五名，绘制条形图以显示最后的推荐结果。查了一下这几位的资料，感觉还比较靠谱，值得follow。各位经常上推的朋友也不妨一试。 
   
 
   
 
   
 
     
   
 
   
注：由于Twitter API有限制，所以并未完全获得所有一万条信息，上图是根据大约两千条信息绘制的。 
   
 
   
 
   R代码如下： 
   
 
   
 
    
 
     
rm(list=ls())
library(twitteR) #加载包
myid <- getUser('xccds') #获取用户信息
#取得100名关注对象的用户名
myfo <- twListToDF(myid$getFriends(n=100))$screenName  
ffo <-list()
record <- character()
for (i in 1:100){
  user <- getUser((myfo[i]))  #获取关注对象的信息
  #取得关注对象的关注对象
  ffo <- twListToDF(user$getFriends(n=100))$screenName
  record <-  c(record ,as.character(ffo))
}
# 生成频数表
table.record <- table(record)
# 从表格转化为数据框
data = as.data.frame(table.record,stringsAsFactors=F)
# 将已经关注的对象从中删除
data <- data[data$record%in%setdiff(record,myfo),]
# 选择频数最高的五人
data <- data[order(data$Freq,decreasing=T)[1:5],]
# 加载包并绘制条形图
library(ggplot2) 
p <- ggplot(data,aes(record,Freq))
p + geom_bar(aes(fill=Freq))+coord_flip()
 
     

 
     

 
     
========================
 
     
从Twitter招聘信息看R语言的重要性
 
     
============================
 
     

         
     
 
     
 
      
 
        
      
 随着大数据时代的到来，对于数据科学和R语言的人才需求日渐旺盛。前段时间美国总统Obama在招募竞选团队时就提供了数据分析的职位，并要求具有R语言的技能。著名的网络公司Twitter最近发布了一则招聘信息，寻找数据科学家或分析师，以帮助他们从大数据中获取信息。从招聘要求中，我们可以看到业界对于数据科学和R语言的态度。如果你想在将来从事数据科学事业，这些信息也能帮助你了解自己需要哪些方面的技能。Twitter的招聘信息如下： 
      
 
      
 
      关于工作的描述： 
      
我们正在寻找干劲十足的人来帮助我们从Twitter的大规模数据中提取内容。作为分析团队中的数据科学家，你将使用统计分析和数据挖掘技术来帮助我们更好地理解用户，确定是否应该推出新功能，并衡量整个组织是否成功。你应该热衷于寻找数据中的知识，并使用定量分析方法来回答复杂的问题。 
      
 
       
      
 
      
 
      工作责任： 
      
 
      
 
      
  • 处理结构化和非结构化的大数据（Terabytes级）
  • 与整个组织的产品团队紧密合作并快速互动
  • 通过口头和书面形式总结报告分析结果
  • 利用Hadoop和Pig编写并解释mapreduce式的数据分析
  • 混合使用SQL、Pig、R和脚本语言编写代码
 
      
 
      工作要求： 
      
 
      
 
      
  • 统计、数学、运筹学、计算机科学或其他定量学科专业的硕士或博士
  • 具备统计编程环境的经验，例如R语言
  • 具备大数据和mapreduce架构的经验，例如Hadoop
  • 具备脚本语言、正则表达式等经验
  • 有在团队环境中工作的经验
  • 将业务需求反映到工程系统中的能力
  • 有兴趣使用离散数学、概率统计以解决复杂的问题
 如果希望了解更多的Twitter招聘信息可以去 
      这里看看。 
     
 
     

 
    
 
   
 
  
 
 
 
 

     
 
 


                

        

        




    

  


            

                    
            

    

      

        

            

              
                
                  weixin_33989058
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
twitter授权登录 php,PHP版实现Twitter第三方登录的成功案例

				
			

			

				

					weixin_36472741的博客
				

				

					03-23
					
					1628
					
				

			

		

		

			
				
QQ、微信、Fackbook等第三方登录使用OAuth2.0，随便找一些文档跟着做很快实现，没什么难度。等轮到Twitter时候，如果你也这样想，后面它就会证明你是错的！Twitter在当前时间(2018年4月20日)，用的依然是OAuth1.0，相比OAuth2.0是复杂了一点，但大概流程也差不多。不管Twitter为什么仍然使用OAuth1.0，也不争论哪个更加安全，在这只单纯说一下我踩过的坑...

			
		

	



                

              
                



	

		

			

				
					
twitter数据采集实例-最初

				
			

			

				

					03-03
				

			

		

		

			
				
用来展示twitter数据采集,当初的事例.

			
		

	



                


  
              

                


	

		

			

				
					
docker swarm

				
			

			

				

					lihongbao80的专栏
				

				

					08-12
					
					660
					
				

			

		

		

			
				
ip
角色




172.16.10.85
manager


172.16.10.86
worker


172.16.10.87
worker


一、节点管理：
1、初始化swarm：
[root@swarm-m ~]# docker swarm init --advertise-addr 172.16.10.85
Swarm initialized: current node (mclobj2doj65sek345mjkklfo) is now a manager.

To add a w...

			
		

	





	

		

			

				
					
数据集 | NLP中的常见数据集

					
最新发布

				
			

			

				

					weixin_44649780的博客
				

				

					10-18
					
					2948
					
				

			

		

		

			
				
该数据集（虽然相对较小）在数千部电影中拥有超过25，000条评论，是二元情绪分类用例的完美数据集。：虽然此数据集可能稍旧，但它具有各种各样的亚马逊产品及其相应的评论。：这个数据集非常适合训练一个模型，以便在10，000多篇烂番茄评论中使用更长的短语来识别情绪。：这个受欢迎的数据集拥有超过160，000条推文，在6个字段中进行了格式化，包括推文数据，查询，文本，极性，ID和用户。：这个 2015 年的数据集包含与美国航空公司相关的已分类推文（正面、中立、负面）。

			
		

	



		

			
		



	

		

			

				
					
机器学习数据集

				
			

			

				

					sxl的博客
				

				

					08-10
					
					613
					
				

			

		

		

			
				
在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。
那么用于机器学习的开放数据集有哪些呢？我们给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。
首先，在搜索数据集时，在卡内基·梅隆大学有以下说法：


数据集不应混乱，因为你不希望花费大量时间清理数据。


数据集不应该有太多行或列，因此很容易使用。


数据越干净越好 —— 清洗大型数据集相当耗时。


数据可以解答一些有趣的问题。




			
		

	





	

		

			

				
					
盘点76个当下全球免费、优质机器学习数据集获取资源

					
热门推荐

				
			

			

				

					Mr数据杨
				

				

					05-09
					
					1万+
					
				

			

		

		

			
				
上面的数据集基本上能满足个人起步学习用于机器学习、计算机视觉、数据分析、数据挖掘和数据可视化项目。数据集在机器学习中非常重要，需要大量的数据，但手头可能缺少数据。但是互联网上的公开数据种类繁多，从日本公开的数据到海外公开的数据都有。如果可以选择适合要构建的系统和目的的数据集，肯定会有所帮助。赶紧下载其中一个数据集加入数据分析的行列吧。

			
		

	





	

		

			

				
					
PHP封装的Twitter访问类实例

				
			

			

				

					10-23
				

			

		

		

			
				
标题“PHP封装的Twitter访问类实例”指明了本文档所要讨论的主题，即介绍如何用PHP语言封装一个专门用于访问Twitter的类。此类通过使用PHP内置的cURL库来调用Twitter的API，实现访问Twitter常用功能的目的，为需要...

			
		

	





	

		

			

				
					
JavaScript实现twitter puddles算法实例

				
			

			

				

					10-25
				

			

		

		

			
				
本文主要介绍了JavaScript实现Twitter Puddles算法的实例，这是一道源自Twitter的面试题，通过JavaScript语言来解决这个问题。下面，我们将详细分析这个问题的算法描述，并展示如何使用JavaScript代码来实现该算法。...

			
		

	





	

		

			

				
					
用R对Twitter用户的编程语言语义分析

				
			

			

				

					大数据部落
				

				

					06-24
					
					1974
					
				

			

		

		

			
				
原文：http://tecdat.cn/?p=387

Twitter是一个流行的社交网络，这里有大量的数据等着我们分析。Twitter R包是对twitter数据进行文本挖掘的好工具。本文是关于如何使用Twitter R包获取twitter数据并将其导入R，然后对它进行一些有趣的数据分析。



第一步是注册一个你的应用程序。

为了能够访问Twitter数据编程，我们需要创建一个与Twitte...

			
		

	





	

		

			

				
					
Docker Swarm实现跨宿主机容器间访问

				
			

			

				

					水岸梦城 技术博客
				

				

					05-27
					
					2926
					
				

			

		

		

			
				
使用Docker Swarm实现跨宿主机容器间访问
背景：

在SerA服务器，运行了一个任务调度系统xxl容器ConA。
在SerB服务器，运行了一个SpringBoot服务ConB，注册到任务调度系统中。


在任务调度系统中，看到的调度器节点IP是SerB服务器分配给ConB容器的IP地址。 导致任务调度系统调度失败，提示ConB地址链接不上。

分析下来，是由于ConA和ConB是跨宿主机的容器，无法通信。
网上看到了很多方案，包括Overlay网络、OpenvSwitch、consul方案等，最终

			
		

	





	

		

			

				
					
Cross-Language Opinion Lexicon Extraction Using Mutual-Reinforcement Label Propagation

				
			

			

				

					02-20
				

			

		

		

			
				
Cross-Language Opinion Lexicon Extraction Using Mutual-Reinforcement Label Propagation

			
		

	





	

		

			

				
					
Twitter US Airline Sentiment Twitter 美国航空情绪-数据集

				
			

			

				

					03-12
				

			

		

		

			
				
分析2015年2月旅行者在Twitter上的感受 
Tweets.csv 
Twitter US Airline Sentiment Twitter_datasets.txt

			
		

	





	

		

			

				
					
docker 学习之旅

				
			

			

				

					appcanLiYunLong的博客
				

				

					03-06
					
					882
					
				

			

		

		

			
				
1.安装docker
yum -y update
yum install -y docket

2.管理docker
service docker start|stop
3.docker镜像地址修改
//https://www.daocloud.io/

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://...

			
		

	





	

		

			

				
					
超长docker笔记

				
			

			

				

					poqweur的博客
				

				

					12-16
					
					1394
					
				

			

		

		

			
				
没时间排版的笔记

			
		

	





	

		

			

				
					
Docker常用命令

				
			

			

				

					Lucky____Boy的博客
				

				

					03-18
					
					997
					
				

			

		

		

			
				
进入容器执行更多命令


docker exec -it myserver /bin/bash


以上命令可进入 myserver 容器，并可在容器内执行更多命令，如 ls, cd, ps ...





docker命令有很多，总的分为以下几大类：

按 Ctrl+C 复制代码



按 Ctrl+C 复制代码

以上只是日常中大部分使用的命令，更详细的可以查看官网或者命令帮助


...

			
		

	





	

		

			

				
					
docker swarm练手

				
			

			

				

					maojing0609的专栏
				

				

					05-10
					
					3154
					
				

			

		

		

			
				
docker swarm

			
		

	





	

		

			

				
					
Linux Docker容器 三剑客之Docker Swarm

				
			

			

				

					weixin_45029822的博客
				

				

					08-20
					
					326
					
				

			

		

		

			
				
一、什么是Docker Swarm

　　Swarm是Docker公司推出的用来管理docker集群的平台，几乎全部用GO语言来完成的开发的，代码开源在https://github.com/docker/swarm， 它是将一群Docker宿主机变成一个单一的虚拟主机，Swarm使用标准的Docker API接口作为其前端的访问入口，换言之，各种形式的Docker
Client(compose,docker-py等)均可以直接与Swarm通信，甚至Docker本身都可以很容易的与Swarm集成，这大大方便了

			
		

	





	

		

			

				
					
Docker管理工具-Swarm的概念介绍和部署

				
			

			

				

					背着小书包一路追寻梦想
				

				

					04-30
					
					1527
					
				

			

		

		

			
				
1.简介

Docker Swarm 是 Docker原生的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。







Swarm项目正是这样，通过把多个Docker Engine聚集在一起，形成一个大的docker-engine，对外提供容器的集群服务。同时这个集群对外提供Swarm API，用户可以像使用Docke.

			
		

	





	

		

			

				
					
Docker入门教程

				
			

			

				

					长留
				

				

					02-06
					
					443
					
				

			

		

		

			
				
Docker入门教程

本教程讲述了基本的Docker使用以及踩的坑，一共包括下面几个部分


ubuntu14.04 64位安装Docker
以Docker的方式构建应用
使用Swarm集群管理
使用docker-compose.yml部署集群




Ubuntu14.04 64位安装Docker



1.卸载老版本



sudo apt-get remove docker docker-

			
		

	





	

		

			

				
					
Twitter数据挖掘21法

				
			

			

				

					
				

			

		

		

			
				
通过21个精心设计的实例，读者将逐步掌握Twitter数据挖掘的全过程，提升数据驱动决策的能力。  "21 Recipes for Mining Twitter" 是一本实用的指南，它不仅教导读者如何从Twitter的海量信息中提取有价值的数据，还...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值