RecyclerView的item布局会自动被拉长

在使用RecyclerView的时候，给Item添加了分割线，然后发现打开有RecyclerView的界面的时候出现了分割线被下拉了，出现了空白区域，如图：
为了看得清楚一些，我把我的item背景设置为灰色，灰色区域就是我的item大小，在item与分割线之间空了一个白色区域，这个区域是我打开这个界面的时候，分割线慢慢往下拉产生的。
接下来看代码：

LinearLayoutManager manager = new LinearLayoutManager(MyCollectActivity.this,LinearLayoutManager.VERTICAL,false);
recyclerView.setLayoutManager(manager);
recyclerView.addItemDecoration(new DividerItemDecoration(MyCollectActivity.this,DividerItemDecoration.VERTICAL));

在这里面，我们只要将以上设置recyclerView的样式和添加分割线的代码放在刷新布局外就行，如果做了下拉刷新产生item之间的类似间隔的话，也只需要把以上代码放到刷新代码外即可

这是最终效果，显示正常